100 lines
3.7 KiB
Plaintext
100 lines
3.7 KiB
Plaintext
|
好的，以下是针对你需求的完整总结，格式适合传递给其他 AI Agent 继续执行或迭代。
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## Project: 采购以图搜图自动下单系统
|
|||
|
|
|
|||
|
|
### 1. 用户原始需求
|
|||
|
|
|
|||
|
|
> 制作一个 Android APK，提供给采购人员使用。采购人员可以用自然语言描述 + 上传商品图片，系统通过 LLM/VLM 理解需求后，自动在拼多多（PDD）上搜索匹配的商品，并完成下单流程。
|
|||
|
|
|
|||
|
|
### 2. 核心功能流程
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
[采购人员] 上传商品图片 + 输入需求描述（如"类似的黑色款，预算200以内"）
|
|||
|
|
↓
|
|||
|
|
[VLM 视觉语言模型] 理解图片内容 + 自然语言描述，提取商品特征关键词
|
|||
|
|
↓
|
|||
|
|
[手机端 APK] 自动打开拼多多 APP，搜索匹配商品
|
|||
|
|
↓
|
|||
|
|
[VLM] 对比搜索结果与用户需求，选出最合适的商品
|
|||
|
|
↓
|
|||
|
|
[手机端 APK] 自动进入商品详情页 → 下单 → 提交订单
|
|||
|
|
↓
|
|||
|
|
[系统] 返回订单结果给采购人员
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 3. 推荐技术方案
|
|||
|
|
|
|||
|
|
| 层级 | 方案 | 说明 |
|
|||
|
|
|------|------|------|
|
|||
|
|
| **基础框架** | **Roubao（肉包）** | GitHub: Turbo1123/roubao，MIT 开源，Kotlin 原生 Android APK |
|
|||
|
|
| **系统权限** | AccessibilityService + Shizuku | 无需 root，无需电脑连接 |
|
|||
|
|
| **AI 模型** | VLM（视觉语言模型） | 如 GPT-4o、DeepSeek-V2、GLM-4V、Doubao-vision-pro 等 |
|
|||
|
|
| **远程控制** | fork 后自加 HTTP/WebSocket Server | 可选，用于后台管理或多人提交需求 |
|
|||
|
|
| **自动化操作** | Roubao 已有 Skill/Tools 架构 | 新增一个 PDD_Skill 即可 |
|
|||
|
|
|
|||
|
|
### 4. Roubao 已具备的能力（无需重复开发）
|
|||
|
|
|
|||
|
|
- ✅ 基于 VLM 的屏幕截图理解与操作决策
|
|||
|
|
- ✅ AccessibilityService 控制其他 APP（点击、滑动、输入）
|
|||
|
|
- ✅ Shizuku 获取系统级权限（截图、模拟操作）
|
|||
|
|
- ✅ Skill/Tools 双层架构（易于扩展业务逻辑）
|
|||
|
|
- ✅ 原生 Kotlin APK，可独立打包发布
|
|||
|
|
- ✅ 支持自定义 API Base URL 接入多种 VLM
|
|||
|
|
|
|||
|
|
### 5. 需要二次开发的内容
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
1. PDD_Skill（新增）
|
|||
|
|
├─ 关键词搜索商品
|
|||
|
|
├─ 以图搜图（调用拼多多内部以图搜图功能）
|
|||
|
|
├─ 遍历商品列表 + AI 匹配判断
|
|||
|
|
└─ 自动下单流程
|
|||
|
|
|
|||
|
|
2. 采购专用 UI（改造）
|
|||
|
|
├─ 拍照 / 从相册选取图片
|
|||
|
|
├─ 自然语言输入框
|
|||
|
|
├─ 搜索结果预览与确认
|
|||
|
|
└─ 订单历史记录
|
|||
|
|
|
|||
|
|
3. 可选：HTTP Server（新增）
|
|||
|
|
├─ 接收远程采购需求
|
|||
|
|
└─ 返回订单状态
|
|||
|
|
|
|||
|
|
4. 可选：多平台扩展
|
|||
|
|
├─ 1688 / 淘宝 / 京东
|
|||
|
|
└─ 多个电商平台并行比价
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 6. 技术栈总览
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
开发语言： Kotlin（Android 原生）
|
|||
|
|
底层 API： AccessibilityService（无障碍服务）
|
|||
|
|
AI 模型： VLM（GPT-4o / Qwen-VL / GLM-4V / DeepSeek-V2 等）
|
|||
|
|
权限方案： Shizuku（替代 ADB）
|
|||
|
|
通信方式： HTTP / WebSocket（可选）
|
|||
|
|
输出产物： 独立 APK，可直接安装使用
|
|||
|
|
开源协议： MIT（可商用，可二次开发）
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 7. 推荐执行路线
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
Phase 1（1-2周）：fork Roubao，跑通 PDD 基础操作 Skill
|
|||
|
|
Phase 2（2-3周）：集成 VLM，实现"图片+文字 → 搜索关键词"流程
|
|||
|
|
Phase 3（1-2周）：加上远程控制和采购 UI
|
|||
|
|
Phase 4（持续）：优化匹配精度、异常处理、多平台支持
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 8. 关键约束与注意事项
|
|||
|
|
|
|||
|
|
- 需要用户开启**无障碍服务权限**（Shizuku 一次授权后可保持）
|
|||
|
|
- 拼多多有**反自动化风控**，需控制操作频率 + 随机延迟
|
|||
|
|
- VLM 调用有**API 成本**（推荐 DeepSeek-V2 或 GLM-4V，性价比高）
|
|||
|
|
- 该方案适用于 Android 8.0+ 设备
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
以上内容可以直接作为 Prompt 传递给其他 AI Agent（如 Claude、GPT、DeepSeek 等），让它们理解上下文并继续执行后续开发任务。
|