feat(android): evaluate candidates before human confirmation

This commit is contained in:
QiuSW
2026-07-25 21:54:52 +08:00
parent 32d5310000
commit 84f2da3cf7
25 changed files with 2127 additions and 43 deletions
+21 -2
View File
@@ -105,6 +105,14 @@ evidence/ # 截图、步骤日志、脱敏和上传
浏览范围。
- 模型不能返回点击坐标、状态迁移或“允许提交订单”等执行授权。
T-104 按候选 ordinal 串行评估,每个候选最多一次结构化调用、整批最多 5 次;首个
网络失败或无效输出停止后续调用。模型响应只允许
`schema_version/candidate_index/decision/score/matched/missing_or_uncertain/
rejection_reasons/confidence`,其中 `decision` 仅允许 `REVIEW/REJECT/
MANUAL_REQUIRED`。ordinal、证据 SHA-256、建议候选、provider provenance、
`manual_review_required=true` 和 `order_submitted=false` 由本地代码确定。任务没有
预算时,模型声称价格或预算匹配会被视为无效输出。
T-103 的模型响应只允许
`schema_version/search_query/category/attributes/confidence/warnings`。属性来源限定为
`TITLE/IMAGE/BOTH`;额外字段、无效 JSON、重复或越界属性、坐标/动作语义均视为无效
@@ -189,10 +197,10 @@ SearchProbeScreen
登录、验证码、风控、订单或支付边界都终止 workflow。该路径不提供坐标、ADB、
Shizuku shell、OCR 或 VLM 动作降级。
T-102 在搜索结果后追加一个有界候选步骤:
T-102/T-104 在搜索结果后追加一个有界候选步骤:
```text
固定词结果页
精确匹配固定词或当前结构化需求词的结果页
-> 最多 2 次滚动预算
-> 最多 5 个去重商品卡
-> 验证详情页
@@ -206,6 +214,17 @@ T-102 在搜索结果后追加一个有界候选步骤:
受控 evidence 边界读取,不能让 VLM adapter 自行遍历 cache。Android 10/API 29 及
以下不能运行当前截图探针,应在预检时明确不支持,不使用媒体投影或 shell 绕过。
`CandidateEvidenceSource` 只接受当前 workflow 内存中的连续 ordinal 元数据,文件名
固定为 `candidate-01.png` 至 `candidate-05.png`;每张 PNG 最多 8 MiB、全批最多
32 MiB、声明尺寸最长边不超过 10000 px,并复核规范路径、PNG/IHDR、精确字节数、
尺寸和 SHA-256。Android gateway 再解码并把最长边缩至 2048 px。当前需求快照与
搜索词必须同时匹配候选 session,否则拒绝评估;另一个关键词的结果页只允许重新进入
搜索框,不能采集候选。
评估结束后 automation 不再产生动作,UI 进入 `AWAITING_CONFIRMATION`、
`MANUAL_REVIEW` 或 `NO_MATCH`。人员可以把本地建议项标记为可用,或拒绝本次候选;
这只是验证结果,所有状态的 `order_submitted` 均为 `false`。
需求提取是独立探针,不启动拼多多,也不接入 `MobileAgent`。GUI-Owl 和 MAI-UI 输出
动作/坐标,明确不具备 `supportsRequirementExtraction` 能力。真实供应商未确认前,
普通测试只使用 Fake gateway;本机 OpenAI 兼容 mock 仅验证 Android 请求链路和隐私