好的，以下是针对你需求的完整总结，格式适合传递给其他 AI Agent 继续执行或迭代。

---

## Project: 采购以图搜图自动下单系统

### 1. 用户原始需求

> 制作一个 Android APK，提供给采购人员使用。采购人员可以用自然语言描述 + 上传商品图片，系统通过 LLM/VLM 理解需求后，自动在拼多多（PDD）上搜索匹配的商品，并完成下单流程。

### 2. 核心功能流程

```
[采购人员] 上传商品图片 + 输入需求描述（如"类似的黑色款，预算200以内"）
    ↓
[VLM 视觉语言模型] 理解图片内容 + 自然语言描述，提取商品特征关键词
    ↓
[手机端 APK] 自动打开拼多多 APP，搜索匹配商品
    ↓
[VLM] 对比搜索结果与用户需求，选出最合适的商品
    ↓
[手机端 APK] 自动进入商品详情页 → 下单 → 提交订单
    ↓
[系统] 返回订单结果给采购人员
```

### 3. 推荐技术方案

| 层级 | 方案 | 说明 |
|------|------|------|
| **基础框架** | **Roubao（肉包）** | GitHub: Turbo1123/roubao，MIT 开源，Kotlin 原生 Android APK |
| **系统权限** | AccessibilityService + Shizuku | 无需 root，无需电脑连接 |
| **AI 模型** | VLM（视觉语言模型） | 如 GPT-4o、DeepSeek-V2、GLM-4V、Doubao-vision-pro 等 |
| **远程控制** | fork 后自加 HTTP/WebSocket Server | 可选，用于后台管理或多人提交需求 |
| **自动化操作** | Roubao 已有 Skill/Tools 架构 | 新增一个 PDD_Skill 即可 |

### 4. Roubao 已具备的能力（无需重复开发）

- ✅ 基于 VLM 的屏幕截图理解与操作决策
- ✅ AccessibilityService 控制其他 APP（点击、滑动、输入）
- ✅ Shizuku 获取系统级权限（截图、模拟操作）
- ✅ Skill/Tools 双层架构（易于扩展业务逻辑）
- ✅ 原生 Kotlin APK，可独立打包发布
- ✅ 支持自定义 API Base URL 接入多种 VLM

### 5. 需要二次开发的内容

```
1. PDD_Skill（新增）
   ├─ 关键词搜索商品
   ├─ 以图搜图（调用拼多多内部以图搜图功能）
   ├─ 遍历商品列表 + AI 匹配判断
   └─ 自动下单流程

2. 采购专用 UI（改造）
   ├─ 拍照 / 从相册选取图片
   ├─ 自然语言输入框
   ├─ 搜索结果预览与确认
   └─ 订单历史记录

3. 可选：HTTP Server（新增）
   ├─ 接收远程采购需求
   └─ 返回订单状态

4. 可选：多平台扩展
   ├─ 1688 / 淘宝 / 京东
   └─ 多个电商平台并行比价
```

### 6. 技术栈总览

```
开发语言：    Kotlin（Android 原生）
底层 API：    AccessibilityService（无障碍服务）
AI 模型：     VLM（GPT-4o / Qwen-VL / GLM-4V / DeepSeek-V2 等）
权限方案：    Shizuku（替代 ADB）
通信方式：    HTTP / WebSocket（可选）
输出产物：    独立 APK，可直接安装使用
开源协议：    MIT（可商用，可二次开发）
```

### 7. 推荐执行路线

```
Phase 1（1-2周）：fork Roubao，跑通 PDD 基础操作 Skill
Phase 2（2-3周）：集成 VLM，实现"图片+文字 → 搜索关键词"流程
Phase 3（1-2周）：加上远程控制和采购 UI
Phase 4（持续）：优化匹配精度、异常处理、多平台支持
```

### 8. 关键约束与注意事项

- 需要用户开启**无障碍服务权限**（Shizuku 一次授权后可保持）
- 拼多多有**反自动化风控**，需控制操作频率 + 随机延迟
- VLM 调用有**API 成本**（推荐 DeepSeek-V2 或 GLM-4V，性价比高）
- 该方案适用于 Android 8.0+ 设备

---

以上内容可以直接作为 Prompt 传递给其他 AI Agent（如 Claude、GPT、DeepSeek 等），让它们理解上下文并继续执行后续开发任务。