773 字
4 分钟
Open-AutoGLM
Open-AutoGLM实战——AI手机
仓库介绍
Open-AutoGLM 是一个基于 AutoGLM 构建的手机端智能助理框架，主要功能特点包括：
- 以多模态方式理解手机屏幕内容，通过自动化操作帮助用户完成任务
- 基于 ADB（Android Debug Bridge）控制设备，结合视觉语言模型进行屏幕感知
- 支持用户用自然语言描述需求（如 “打开小红书搜索美食”），自动解析意图并执行操作流程
- 内置敏感操作确认机制，支持登录或验证码场景下的人工接管
- 提供远程 ADB 调试能力，可通过 WiFi 或网络连接设备实现远程控制
仓库链接：zai-org/Open-AutoGLM: An Open Phone Agent Model & Framework. Unlocking the AI Phone for Everyone
前言准备
- 一台 Android 手机（Android 7.0+）作为被控设备——以RedMi K20为例
- 一台电脑（运行 Agent 代码和连接模型服务）作为控制端——以Windows为例
环境配置
手机端配置
- 开启开发者模式：
- 打开手机「设置」→「关于手机」→ 连续点击「版本号」N次，直到提示「开发者模式已启用」
- 开启 USB 调试：
- 进入「设置」→「开发者选项」→ 勾选「USB 调试」
- 部分机型（本次实验机型需要）需额外开启「USB 调试（安全设置）」（用于模拟点击等操作）
- 安装 ADB Keyboard：
- 下载安装包：ADBKeyboard.apk
- 安装后在手机「设置」→「语言和输入法」中启用「ADB Keyboard」（启用即可，会自动切换输入法）
电脑端安装 ADB 工具
-
下载 ADB：
- 官方地址：Android Platform Tools
- 解压到自定义路径（如
D:\adb\platform-tools）
-
配置环境变量：
- Windows：右键「此电脑」→「属性」→「高级系统设置」→「环境变量」，将 ADB 解压路径添加到「Path」
- macOS/Linux：打开终端，执行
export PATH=$PATH:~/platform-tools（替换为实际路径） - 验证 ADB 安装：
Terminal window adb version # 输出版本信息即成功
连接手机与电脑
- 用 USB 数据线连接手机和电脑（需要注意数据线支持文件传输）
- 手机上会弹出「允许 USB 调试」对话框，勾选「始终允许」并确认
- 电脑终端执行以下命令，确认设备连接成功：
adb devices# 成功会显示：List of devices attached + 设备ID部署 Agent 代码（电脑端）
1.克隆仓库
git clone https://github.com/zai-org/Open-AutoGLM.gitcd Open-AutoGLM2. 安装依赖
- 建议使用 Python 3.10+，创建虚拟环境
# 创建虚拟环境python -m venv zhipu# 激活环境（Windows）venv\Scripts\activate# 激活环境（macOS/Linux）source venv/bin/activate- 在虚拟环境激活状态下，执行以下命令安装项目依赖
# 安装基础依赖pip install -r requirements.txt
# 安装项目包（ editable 模式，方便开发调试）pip install -e .开始对话
智谱API Key 申请平台：https://open.bigmodel.cn/
你也可以自己部署和选取其他API服务，本次以智谱为例
- 单条输入
python main.py --base-url https://open.bigmodel.cn/api/paas/v4 --model "autoglm-phone" --apikey "youapikey" "打开微信"- 对话交互式
python main.py \ --base-url https://open.bigmodel.cn/api/paas/v4 \ --model "autoglm-phone" \ --apikey "你的智谱API密钥" Open-AutoGLM
https://minthana.github.io/posts/open-autoglm/