docs(t211): define image-search SKU matching task

This commit is contained in:
QiuSW
2026-07-27 17:46:17 +08:00
parent 30841f8827
commit 667a64f6c2
3 changed files with 106 additions and 10 deletions
+17 -5
View File
@@ -114,8 +114,10 @@ evidence/ # 截图、步骤日志、脱敏和上传
只负责两类能力:
1. **需求提取**:参考图 + 标题 + SKU -> 搜索词、类目、属性、置信度、警告。
2. **候选评估**:候选截图/文本 + 原始约束 -> 匹配项、缺失项、拒绝原因、建议分。
1. **需求提取**:参考图 + 标题 + SKU -> 类目、属性、置信度、警告;搜索词只用于
诊断和人工模式,不替代正式链路的参考图召回。
2. **候选评估**:候选详情截图/文本 + 原始约束 -> 颜色/尺码硬约束结果、匹配项、
缺失项、拒绝原因、建议分。
正式数据流固定为 `Android App -> VLM Provider`。管理后端只下发原始任务并接收
结构化结果,不保存/下发 provider 配置或 Key,也不实现 `/tasks/{id}/ai/*` 代理。
@@ -137,6 +139,8 @@ provider Key 从旧设置迁移到 Android Keystore 包装的加密存储;迁
模型输出是不可信建议,必须通过 schema 和确定性校验:
- `sku`、`quantity` 和 `max_budget` 使用原始任务值;数量和预算不进入模型 prompt。
- 原始 SKU 可唯一提取的颜色、尺码由本地代码固定为硬约束。候选必须对每个硬约束
返回 `MATCH/MISMATCH/UNKNOWN`;只有全部为 `MATCH` 才能进入自动 Top 5。
- 价格未知、超预算或关键属性无法确认时不能判为可接受。
- T-103 探针阈值为 `0.75`;低于阈值或标题/图片冲突时进入人工处理,不自动扩大
浏览范围。
@@ -179,15 +183,23 @@ prompt 前分别限制为 2048 和 512 个 UTF-8 字节。JPEG 在调用前复
-> 规范化为 ProbeTask
-> Android FixtureTaskSource
-> 校验设备就绪
-> 解析为固定/模型搜索词
-> 打开拼多多并搜索
-> 检查最多 5 个候选
-> 校验参考图并提取 SKU 颜色/尺码硬约束
-> 将一次执行专用参考图写入受控 MediaStore
-> 通过拼多多可见图片搜索入口选择该图
-> 检查图片结果页最多 5 个候选
-> 过滤并排序颜色/尺码均确认匹配的 0..5 个候选
-> 到达候选详情或确认页
-> 停止并记录结论
```
该阶段不依赖后台,用于尽早判断 Android 自动化是否可行。
图片搜索临时资产只保存匿名执行标识,不使用订单号或标题作为文件名。App 在写入前
复核任务参考图的媒体类型、长度和 SHA-256,并在完成、失败或安全停止后 best-effort
删除自己创建的媒体。拼多多图片入口、相册页、当前图片或结果页无法唯一确认时停止;
不得从用户相册中猜选其他图片。图片搜索只负责召回,VLM 不能改变原始 SKU,也不能
把 `UNKNOWN` 规格提升为通过。
`TaskSource` 是工作流读取任务的唯一边界:
- 第一层使用 `FixtureTaskSource`,消费 Debug 导入工具生成的本地私有样本。