feat(collect): persist product status snapshots
This commit is contained in:
chengma
+12
-3
@@ -23,7 +23,8 @@ GUI（PySide6 QTabWidget，当前显示 6 Tab）
|
||||
├── accounts 账号 CRUD 服务：生成 slug/目录、启动登录、检测登录
|
||||
├── chrome 按账号拼启动参数、启动/探测 Chrome、生成快捷方式
|
||||
├── cdp CDP 客户端（连接、找/开 tab、执行 JS、拖拽）
|
||||
├── editor 登录检测 / 采集旧标题旧封面 / 改标题 / 换封面 / 点更新
|
||||
├── editor 登录检测 / 检测商品状态 / 采集旧标题旧封面 / 改标题 / 换封面 / 点更新
|
||||
├── product_status 商品状态代码、显示和分组规则
|
||||
├── ai 文本生成（提示词+旧标题→新标题）/ 图像生成（提示词+旧封面→新封面）/ 商品原图理解（商品套图AI帮写）
|
||||
├── image_studio 商品套图项目/资产/job数据服务（兼容旧AI工场终选）
|
||||
├── product_suite 套图设置归一化、数量计算、完整提示词与job规划
|
||||
@@ -75,7 +76,8 @@ imported → collected → generated → applied
|
||||
- `accounts`：账号 CRUD 服务；生成目录、启动登录、检测登录；不自动登录/填密码。
|
||||
- `chrome`：拼接启动命令、启动、探测端口、（可选）生成快捷方式。
|
||||
- `cdp`：连接调试端口、找/开 tab、执行 JS、拖拽、注入文件。
|
||||
- `editor`：登录检测、**采集**（读旧标题、下载旧封面）、改标题、换封面、点更新。
|
||||
- `editor`：登录检测、读取商品状态、**采集**（读旧标题、下载旧封面）、改标题、换封面、点更新。
|
||||
- `product_status`：商品状态代码 `normal/unlisted/reviewing/unknown` 的归一化、中文显示、EDS 提示分类和下游任务分组；①②③只能复用该模块，不各自判断。
|
||||
- `ai`：`gen_title(prompt, old_title)`、`gen_cover(prompt, old_cover_path)`、`analyze_product_images(instruction, context, image_paths)`；前两者分别负责②标题/生图，后者只供商品套图中的「AI帮写」调用 cmhub 图片理解接口，读取1至8张按 `source_order` 排序的本地商品原图并返回可编辑卖点与白名单计费元数据。
|
||||
- `cmhub_models`：格式化 cmhub 模型别名，并维护仅进程内有效的短期模型目录缓存；缓存键使用规整网关地址和别名，不含 API Key，不写入配置、SQLite、日志或导出文件。
|
||||
|
||||
@@ -265,6 +267,10 @@ CREATE TABLE tasks (
|
||||
account_name TEXT,
|
||||
alias TEXT NOT NULL,
|
||||
item_id TEXT NOT NULL,
|
||||
-- 商品状态快照（采集页面探测，不宣称实时在售）
|
||||
product_status TEXT, -- normal/unlisted/reviewing/unknown；历史 NULL 读作 unknown
|
||||
product_status_note TEXT, -- 归一化 EDS 标题/说明摘要，最多 2000 字符
|
||||
product_status_at TEXT, -- 本次页面状态探测时间
|
||||
-- 采集输出（程序写，改前快照）
|
||||
old_title TEXT,
|
||||
old_cover_path TEXT, -- 旧封面本地图片路径
|
||||
@@ -350,6 +356,7 @@ CREATE TABLE run_log_events (
|
||||
- `account_name` 仅展示/参考；匹配以 `alias` 为准。
|
||||
- `source_file_abs/source_sheet/source_row` 是回写 Excel 的权威定位；即使商品 ID 重复，也按原行回写。
|
||||
- `row_key` 防止同一批次内重复导入同一行。
|
||||
- `product_status/product_status_note/product_status_at`：①每次打开商品编辑页后写入的状态快照；`normal` 只表示没有已知异常横幅，不等于实时“在售”。历史 NULL 与非法值按 `unknown` 处理。
|
||||
- `old_title/old_cover_path`：程序**采集阶段抓取**的快照（输出）。
|
||||
- `new_title/new_cover_path`：**AI 生成**的两个独立组件结果（输出）。③只更新标题要求 `new_title`，只更新封面要求 `new_cover_path`，更新图文才同时要求二者；只生成封面允许 `new_title=NULL`，已采集的 `old_title` 只作为封面prompt语义参考，不回填 `new_title`。不设逐条确认阶段。
|
||||
- `stage` 表示已完成到哪个业务阶段；`status` 表示当前处理结果。失败时 `stage` 保持在最后成功阶段，`status=failed`，错误写 `last_error`。
|
||||
@@ -408,11 +415,12 @@ data/images/<batch_id>/<slug>/<task_id>_<item_id>_new.<ext> # AI 生成的新
|
||||
|
||||
### 6.1 采集（① Tab，只读）
|
||||
|
||||
- 用账号 Chrome 打开商品页，等就绪，读旧标题（标题输入框 value）。
|
||||
- 用账号 Chrome 打开商品页，等就绪，先读商品状态，再读旧标题（标题输入框 value）。
|
||||
- `open_product` 先复用已打开的同商品 tab；没有才新建商品编辑页 tab。采集完成后只关闭本次程序自动新建的商品 tab，并在最多 2 秒内轮询 `/json` 确认该 target ID 已消失；确认超时只记警告并保留采集成功结果。用户原本已经打开的 tab 不关闭、不等待。`CDP.close()` 只断开 WebSocket 控制连接，不等于关闭浏览器 tab。
|
||||
- ①采集调用 `open_product(..., bring_to_front=False)`，不主动执行 `Page.bringToFront`；新建商品 tab 时尝试 `Target.createTarget(background=true)` 降低 Chrome 抢焦点概率，若当前 Chrome/CDP 不接受该参数则退回普通新建 tab。③更新是上传、拖拽和线上提交流程，每条任务均以前台方式打开或激活当前商品 tab，优先保障页面交互稳定；后台态失败安全恢复逻辑仅为兼容直接调用保留，正常③批量路径不依赖它。
|
||||
- 采集前和采集中途的登录检测必须区分“明确未登录”和“暂时不确定”。明确 `LOGIN_PAGE` / 登录页 URL 才整组略过该账号后续任务；`NO_SESSION_COOKIE`、检测超时或 CDP 短暂异常只记录为不确定并继续尝试采集当前商品，不得级联跳过同账号剩余任务。Cookie API 调用失败不能伪装成空 Cookie；登录检测若连到正在关闭的旧商品 target，应在本次检测预算内重新枚举并改连其他有效 Shopee 页面。
|
||||
- 若商品 ID 失效、无权限或店铺不匹配导致商品编辑页无法就绪，`open_product` 必须读取/捕获 Shopee toast，把最近错误文案写入采集失败原因和诊断日志，不能只返回泛化超时。①列表只在明确捕获商品失效类 toast 时把“阶段”显示为“商品失效”；底层 `stage` 不新增中文值。若这个失败发生在后台只读、程序自动新建的商品 tab 内，`open_product` 要关闭并执行同样的有界 target 消失确认；复用用户已有 tab 不关闭。③前台更新打开失败仍沿用既有清理路径，不引入额外等待。
|
||||
- 商品状态只读取 `.eds-alert.eds-alert--warning` 内的 `.eds-alert-title/.eds-alert-desc`，不得依赖 Vue `data-v-*`。`審核中/审核中` 归为 `reviewing`，`您的商品未上架` 归为 `unlisted`，没有 warning 为 `normal`，未识别横幅、DOM 异常或非法返回为 `unknown`。保存归一化摘要而非页面 HTML；状态探测异常只写脱敏诊断，不伪造技术采集失败。
|
||||
|
||||
- 旧封面：取第一张 itembox 的 `img.src`（CDN 链接），下载到 `data/images/<batch_id>/<slug>/<task_id>_<item_id>_old.jpg`。
|
||||
- 写 `old_title/old_cover_path`、stage=collected；批量回写 Excel 旧字段。
|
||||
@@ -500,6 +508,7 @@ data/images/<batch_id>/<slug>/<task_id>_<item_id>_new.<ext> # AI 生成的新
|
||||
| 前台激活 | ①采集和商品套图只读打开商品页时不主动 `Page.bringToFront`；新建 tab 尝试 `Target.createTarget(background=true)`，不支持时退回普通新建。③更新真实提交每条任务都以前台方式新建或激活商品 tab，并执行 `Page.bringToFront`，保障上传、图片管理器刷新和拖拽排序稳定；后台态封面恢复逻辑仅保留给兼容直接调用，不作为正常③批量路径 |
|
||||
| SPA 就绪 | 不用 load 事件；轮询“唯一商品名称输入框 + 至少一张主图 itembox + 唯一主图上传输入框”三者都在。脚本返回标题命中数、主图/上传入口状态和当前 URL 的就绪快照；超时错误必须指出具体缺失组件，不能只报泛化超时 |
|
||||
| 商品页错误 toast | Shopee 错误提示使用 `.eds-toasts` / `.eds-toast__content`，可能很快隐藏或 `display:none`。打开商品页/等待 SPA 就绪前应注入 `MutationObserver` 或等价监听，把 toast 文本、`outerHTML`、当前 URL、时间、可见状态保存到页面缓存（如 `window.__cmshopee_toasts`）；等待详情页关键元素超时时，再兜底读取当前 DOM 中的 toast。明确商品失效/不存在/无权限类 toast 即使已经隐藏，也优先成为 `open_product` 失败原因并驱动①阶段列显示“商品失效”；其他普通 toast 只有仍可见且属于当前页面 URL 时，才以“页面提示（可能无关）”附加在就绪快照后。已隐藏的物流、备货、库存、价格等编辑校验提示不得覆盖真正缺失的就绪组件；网络、CDP、未登录、页面超时、风控等其他失败仍显示“失败” |
|
||||
| 商品状态警示 | 编辑页状态只读取 `.eds-alert.eds-alert--warning` 内的 `.eds-alert-title/.eds-alert-desc`，不得使用 `data-v-*`。`審核中/审核中` → `reviewing`，`您的商品未上架` → `unlisted`；无 warning → `normal`；未识别 warning、DOM 异常或非法响应 → `unknown`。多个横幅按 DOM 顺序取第一个白名单命中；只保存归一化文本摘要，不保存整段 HTML |
|
||||
|
||||
| 标题输入框 | 主定位为 `data-product-edit-field-unique-id="name"` 业务字段内唯一可见 `input.eds-input__input`，不再用标题字符数判断身份；仅当该业务字段根不存在时，才回退旧 XPath `//input[@class='eds-input__input' and string-length(@modelvalue)>24]`。主定位命中多个时明确失败，不猜测写入 |
|
||||
| 写标题 | 原生 setter + 派发 `input`/`change`；`value`==`modelvalue`==新值 |
|
||||
|
||||
+8
-2
@@ -109,7 +109,10 @@ delete_batch(batch_id, reason=None, path=None) -> dict
|
||||
mark_running(task_id, phase) -> None
|
||||
mark_failed(task_id, phase, error) -> None # status=failed，stage 不前进，对应 attempts+1
|
||||
mark_skipped(task_id, reason) -> None # status=skipped，stage 不前进
|
||||
set_collected(task_id, old_title, old_cover_path) -> None # stage=collected,status=success,collect_attempts+1
|
||||
set_product_status(task_id, product_status, product_status_note=None, product_status_at=None) -> None
|
||||
# 只写商品状态快照，不改变 stage/status/标题/封面；非法状态规范为 unknown
|
||||
set_collected(task_id, old_title, old_cover_path, path=None, conn=None, *, product_status_value=None, product_status_note=None, product_status_at=None) -> None
|
||||
# stage=collected,status=success,collect_attempts+1；提供状态快照时与旧标题/封面同一事务写入
|
||||
set_generated(task_id, new_title, new_cover_path) -> None # stage=generated,status=success,generate_attempts+1；new_cover_path 可为 None 表示只生成标题
|
||||
set_generated_cover(task_id, new_cover_path) -> None # 只写AI封面并保留new_title（含NULL）；stage=generated,status=success,generate_attempts+1
|
||||
ensure_image_task_key(task_id) -> str # T-564 cmhub 异步生图：无幂等键则生成并写 tasks.image_task_key
|
||||
@@ -262,10 +265,11 @@ read_page_toasts(cdp) -> list[dict] # [{text, html, url, visible, creat
|
||||
open_product(account, item_id) -> CDP # 连端口、导航商品页、等业务字段就绪；标记该 tab 是否本轮自动新建；失败时返回缺失组件/有效错误 toast，并清理本轮自动新建的失败 tab
|
||||
|
||||
# 采集（只读）
|
||||
read_product_status(cdp) -> dict # {product_status, product_status_note, product_status_error}；仅读 EDS warning，不保存 HTML
|
||||
read_title(cdp) -> str
|
||||
read_cover_src(cdp) -> str # 第一张 itembox 的 img.src
|
||||
download_cover(src, out_path) -> str # 下载旧封面到本地
|
||||
collect(account, task) -> dict # -> {old_title, old_cover_path, close_target_confirmed}
|
||||
collect(account, task) -> dict # -> {old_title, old_cover_path, product_status, product_status_note, product_status_error, close_target_confirmed}
|
||||
|
||||
# 应用
|
||||
change_title(cdp, new_title) -> dict # {ok, value, modelvalue}，要求三者相等
|
||||
@@ -286,6 +290,8 @@ apply_task(account, task, close_success_tab=False) -> dict
|
||||
- `open_product()` 若复用已存在商品 tab，则标记为用户已有页面；若调用 `create_tab()` 新建，则记录 target id。
|
||||
- `open_product()` 进入/刷新商品编辑页后要安装 toast 监听。标题主定位是 `data-product-edit-field-unique-id="name"` 内唯一可见的 `input.eds-input__input`，主图和上传入口共同限定在 `data-product-edit-field-unique-id="images"` 内同一个 `.shopee-image-manager`；只有相应业务字段根不存在时才使用旧 DOM 回退，不得再用标题长度判断主定位。就绪检查返回标题命中数、主图数量/CDN/blob、上传 input 数量和当前 URL；超时必须先说明缺少标题、主图还是上传入口。明确商品失效/不存在/无权限 toast（如 `please input correct product id`）即使已隐藏也上浮，并把 toast 文本、`outerHTML`、URL、时间、可见状态交给上层运行日志/诊断日志；普通物流/备货等 toast 只有仍可见且属于当前页面 URL 时才作为“可能无关”的附加提示，不能覆盖就绪快照。不得记录 Cookie、密码、token。调用方只在明确商品失效类 toast 时写 `last_error=商品失效：<原始toast>`，数据库 `stage/status` 仍使用既有流程值。若失败发生在 `open_product()` 返回 `cdp` 前，`open_product()` 自己负责清理：后台只读自动新建 tab 断开 CDP、关闭 target 并执行最多 2 秒的关闭确认；③前台更新自动新建 tab 沿用原关闭路径；复用用户已有 tab 只断开 CDP。
|
||||
|
||||
- `read_product_status()` 在读取标题/封面前读取 `.eds-alert.eds-alert--warning` 下的 `.eds-alert-title/.eds-alert-desc`。`審核中/审核中` → `reviewing`，`您的商品未上架` → `unlisted`，无 warning → `normal`，未识别 warning、DOM 异常或非法响应 → `unknown`；多横幅按 DOM 顺序取第一个白名单命中，不依赖 `data-v-*`，只返回归一化 note，不保存 HTML。状态读取异常不阻断 `collect()`，由调用方写脱敏诊断日志和 `unknown` 快照。
|
||||
|
||||
- `collect()` 结束时只关闭本轮自动新建的商品编辑页 tab，并通过 `close_tab_and_wait()` 在最多 2 秒内确认 target 从 `/json` 消失，结果写入 `close_target_confirmed`。确认超时只记警告，不覆盖已成功读取的标题/封面；如果 `open_product()` 尚未返回就失败，也由 `open_product()` 关闭本轮自动新建 tab；用户原本打开的商品 tab 不关闭、不等待。
|
||||
- ③ 更新流程中程序自动新建的商品编辑页成功/失败都关闭，复用用户原本打开的 tab 只断开 CDP、不关闭页面；`open_product()` 内部打开失败的新建 tab 仍由 `open_product()` 自行关闭。Shopee 确认成功后可能把当前 tab 跳回 `/portal/product/list/all?operationSortBy=modified_time`，`click_update()` 会把该 URL 记录到 `post_update.url` 并标记 `redirected_to_list=true`；自动新建页成功关闭前等待 2 秒。
|
||||
- `click_update()` 的提交成功定义：页面主「更新」按钮已点击，且 Shopee 站点侧确认框未出现或已在可见 `.eds-modal__content` / `.eds-modal__box` 内点击主按钮「更新」。如果确认框仍停留、只点到页面主按钮、或误入「立即優化」，必须返回失败；若 tab 是本轮自动新建，失败后由 `apply_task()` 关闭该 tab。
|
||||
|
||||
@@ -1,7 +1,7 @@
|
||||
---
|
||||
id: T-662a
|
||||
title: 商品状态领域模型、数据库迁移与采集检测
|
||||
status: TODO
|
||||
status: DONE
|
||||
phase: 7
|
||||
deps: []
|
||||
created: 2026-07-18
|
||||
@@ -89,4 +89,6 @@ git diff --check
|
||||
|
||||
## 执行记录
|
||||
|
||||
- 待实现。
|
||||
- 2026-07-18：新增 `app/product_status.py`，统一状态代码、中文显示、EDS 警示分类与任务分组；`tasks` 原位迁移新增商品状态快照字段，并提供独立状态写入与 `set_collected()` 的 keyword-only 状态快照参数。
|
||||
- 2026-07-18：`editor.collect()` 在读取标题、封面前探测 EDS warning 状态，`CollectWorker` 完整采集成功时同步写入状态快照；状态读取异常降级为 `unknown` 并写脱敏诊断。
|
||||
- 验证：`py -3.10 -m unittest tests.test_product_status tests.test_editor_login tests.test_db`、`py -3.10 -m unittest discover -s tests`（600 项）、`py -3.10 -m ruff check app tests main.py`、`py -3.10 -m compileall app main.py`、`git diff --check` 均通过。
|
||||
|
||||
Reference in New Issue
Block a user