From 6e00b1b09374f0f084d44d01d101105a70fa0623 Mon Sep 17 00:00:00 2001 From: chengma Date: Sat, 27 Jun 2026 11:51:42 +0800 Subject: [PATCH] =?UTF-8?q?feat:=20=E5=AE=8C=E6=88=90Tab=E2=91=A0=E9=87=87?= =?UTF-8?q?=E9=9B=86=E6=97=A7=E6=95=B0=E6=8D=AE?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 新增 CollectWorker，通过后台线程逐条采集旧标题和旧封面，成功后立即 db.set_collected 写库。 采集前按别名匹配账号并检测登录态；未匹配或未登录写 skipped，单条采集失败 mark_failed 后继续。 Tab① 增加采集/停止按钮和进度状态回传；补充 GUI 测试覆盖成功采集、未登录略过和未匹配略过；同步任务文档与 progress。 --- app/gui.py | 213 +++++++++++++++++++++++++++++++++++++++++- docs/06-tasks.md | 2 +- docs/api.md | 5 +- docs/current-state.md | 12 +-- progress.md | 9 ++ tests/test_gui.py | 79 ++++++++++++++++ 6 files changed, 311 insertions(+), 9 deletions(-) diff --git a/app/gui.py b/app/gui.py index 17e7c2f..36fc4ee 100644 --- a/app/gui.py +++ b/app/gui.py @@ -75,7 +75,7 @@ QTabBar::tab:hover:!selected { if QT_IMPORT_ERROR is None: - from . import accounts, appconfig, db, excel + from . import accounts, appconfig, db, editor, excel from . import config as account_config @@ -204,13 +204,20 @@ if QT_IMPORT_ERROR is None: self.current_batch_id = None self.has_import_result = False self.last_import_stats = None + self.collect_worker = None + self.collect_thread = None self.import_button = QPushButton("导入 Excel...") self.refresh_button = QPushButton("刷新") + self.collect_button = QPushButton("采集旧标题/旧封面") + self.stop_collect_button = QPushButton("停止") + self.stop_collect_button.setEnabled(False) toolbar = QHBoxLayout() toolbar.addWidget(self.import_button) toolbar.addWidget(self.refresh_button) + toolbar.addWidget(self.collect_button) + toolbar.addWidget(self.stop_collect_button) toolbar.addStretch(1) self.summary_label = QLabel("未导入任务") @@ -245,6 +252,8 @@ if QT_IMPORT_ERROR is None: self.import_button.clicked.connect(self.import_excel) self.refresh_button.clicked.connect(self.refresh_tasks) + self.collect_button.clicked.connect(self.collect_old_data) + self.stop_collect_button.clicked.connect(self.stop_collect) self.show_all_button.clicked.connect(self.show_all_tasks) self.show_unmatched_button.clicked.connect(self.show_unmatched_tasks) @@ -306,6 +315,79 @@ if QT_IMPORT_ERROR is None: self._update_summary(task_rows, account_rows) self._update_empty_label(len(task_rows)) + def collect_old_data(self, checked=False): + tasks = list(self.model.all_tasks) + if not tasks: + self._set_status("没有可采集任务") + return + worker = CollectWorker(tasks, db_path=self.db_path, config=self.config) + worker.progress.connect(self._on_collect_progress) + worker.row_updated.connect(self._on_collect_row_updated) + worker.log.connect(self._set_status) + worker.failed.connect(self._on_collect_failed) + worker.finished.connect(self._on_collect_finished) + worker.cancelled.connect(self._on_collect_cancelled) + thread = run_worker(worker, thread_name="CollectWorker", start=False) + thread.finished.connect(lambda: self._forget_collect_thread(thread)) + self.collect_worker = worker + self.collect_thread = thread + self._set_collect_running(True) + thread.start() + + def stop_collect(self, checked=False): + if self.collect_worker is not None: + self.collect_worker.cancel() + self._set_status("正在停止采集...") + + def _set_collect_running(self, running): + self.import_button.setEnabled(not running) + self.refresh_button.setEnabled(not running) + self.collect_button.setEnabled(not running) + self.stop_collect_button.setEnabled(running) + + def _forget_collect_thread(self, thread): + if self.collect_thread is thread: + self.collect_thread = None + self.collect_worker = None + + def _on_collect_progress(self, payload): + self._set_status( + "采集进度：{done}/{total}，成功{collected}，略过{skipped}，失败{failed}".format( + done=payload.get("done", 0), + total=payload.get("total", 0), + collected=payload.get("collected", 0), + skipped=payload.get("skipped", 0), + failed=payload.get("failed", 0), + ) + ) + + def _on_collect_row_updated(self, task_id, fields): + self.refresh_tasks() + + def _on_collect_failed(self, task_id, error): + self._set_status(f"任务 {task_id} 采集失败：{error}") + + def _on_collect_finished(self, payload): + self._set_collect_running(False) + self.refresh_tasks() + self._set_status( + "采集完成：成功{collected}，略过{skipped}，失败{failed}".format( + collected=payload.get("collected", 0), + skipped=payload.get("skipped", 0), + failed=payload.get("failed", 0), + ) + ) + + def _on_collect_cancelled(self, payload): + self._set_collect_running(False) + self.refresh_tasks() + self._set_status( + "采集已停止：完成{done}/{total}".format( + done=payload.get("done", 0), + total=payload.get("total", 0), + ) + ) + def show_all_tasks(self, checked=False): self.model.set_filter_mode("all") self._update_empty_label(len(self.model.all_tasks)) @@ -458,6 +540,135 @@ if QT_IMPORT_ERROR is None: from .workers import BaseWorker, run_worker + class CollectWorker(BaseWorker): + """Collect old title and cover for imported tasks.""" + + def __init__(self, tasks, db_path=None, config=None): + super().__init__() + self.tasks = list(tasks) + self.db_path = db_path + self.config = config + + def execute(self): + account_rows = accounts.list_accounts(path=self.db_path, config=self.config) + account_by_alias = { + str(account.alias).strip(): account + for account in account_rows + if str(account.alias).strip() + } + eligible = [ + task for task in self.tasks + if getattr(task, "stage", None) == "imported" + ] + total = len(eligible) + collected = 0 + skipped = 0 + failed = 0 + done = 0 + + for task in eligible: + if self.should_cancel(): + break + account = account_by_alias.get(str(task.alias).strip()) + if account is None: + skipped += 1 + done += 1 + reason = "别名未匹配账号" + db.mark_skipped(task.id, reason, path=self.db_path) + self.row_updated.emit(task.id, {"status": "skipped", "last_error": reason}) + self._emit_progress(done, total, collected, skipped, failed) + continue + + status = self._login_status(account) + if not status.get("logged_in"): + skipped += 1 + done += 1 + reason = self._login_skip_reason(status) + db.mark_skipped(task.id, reason, path=self.db_path) + self.row_updated.emit(task.id, {"status": "skipped", "last_error": reason}) + self._emit_progress(done, total, collected, skipped, failed) + continue + + try: + db.mark_running(task.id, "collect", path=self.db_path) + self.row_updated.emit(task.id, {"status": "running"}) + result = editor.collect( + account, + { + "item_id": task.item_id, + "old_cover_path": self._old_cover_path(account, task), + }, + ) + db.set_collected( + task.id, + result.get("old_title", ""), + result.get("old_cover_path", ""), + path=self.db_path, + ) + collected += 1 + self.row_updated.emit( + task.id, + { + "stage": "collected", + "status": "success", + "old_title": result.get("old_title", ""), + "old_cover_path": result.get("old_cover_path", ""), + }, + ) + except Exception as exc: + failed += 1 + error = str(exc) or exc.__class__.__name__ + db.mark_failed(task.id, "collect", error, path=self.db_path) + self.failed.emit(task.id, error) + self.row_updated.emit(task.id, {"status": "failed", "last_error": error}) + finally: + done += 1 + self._emit_progress(done, total, collected, skipped, failed) + + return { + "ok": failed == 0, + "total": total, + "done": done, + "collected": collected, + "skipped": skipped, + "failed": failed, + } + + def _emit_progress(self, done, total, collected, skipped, failed): + self.progress.emit( + { + "done": done, + "total": total, + "collected": collected, + "skipped": skipped, + "failed": failed, + } + ) + + def _login_status(self, account): + try: + return accounts.detect_login(account, path=self.db_path, config=self.config) + except Exception as exc: + return { + "logged_in": False, + "reason": f"LOGIN_CHECK_FAILED: {exc}", + } + + def _login_skip_reason(self, status): + reason = status.get("reason") + return f"账号未登录: {reason}" if reason else "账号未登录" + + def _old_cover_path(self, account, task): + image_root = appconfig.image_dir(self.config) + return os.path.abspath( + os.path.join( + image_root, + account.slug, + f"{task.item_id}_old.jpg", + ) + ) + + class AccountLoginCheckWorker(BaseWorker): def __init__(self, account, db_path=None, config=None, timeout=8): super().__init__() diff --git a/docs/06-tasks.md b/docs/06-tasks.md index 80f074f..5a591ff 100644 --- a/docs/06-tasks.md +++ b/docs/06-tasks.md @@ -50,7 +50,7 @@ | T-201 | `app/excel.py` 导入：解析多文件输入列入库 | T-003 | 按模板解析账号名/别名/商品id；记录 source_file_abs/source_sheet/source_row/row_key；缺必需列则拒绝整文件并记 file_errors；脏行逐行跳过计 invalid；写 batches/tasks | DONE | | T-202 | Tab① 任务列表 + 导入按钮 + 别名匹配标记 | T-201, T-105 | `QTableView` 显示账号/别名/商品id/阶段；未匹配标“略过” | DONE | | T-202b | Tab① 导入汇总栏 | T-202 | 导入后显示 文件数/解析行数/有效/无效/匹配(按账号)/未匹配；未匹配可点击筛出 | DONE | -| T-203 | 采集旧标题+旧封面（只读），下载图片，立即写库 | T-202, T-001, T-104b | 通过 worker 执行；逐条 set_collected；旧封面下载到 `images//`；未登录/未匹配略过记原因 | TODO | +| T-203 | 采集旧标题+旧封面（只读），下载图片，立即写库 | T-202, T-001, T-104b | 通过 worker 执行；逐条 set_collected；旧封面下载到 `images//`；未登录/未匹配略过记原因 | DONE | | T-204 | 回写旧字段到原 Excel（含文件锁处理） | T-203, T-201 | 旧标题/旧封面回写原文件；被锁提示重试或 export_copy | TODO | | T-205 | 首次未配账号/未登录的引导保护 | T-105, T-203 | 无账号/未登录时 ① 执行按钮禁用并提示去④ | TODO | diff --git a/docs/api.md b/docs/api.md index b6a5a41..e27f81e 100644 --- a/docs/api.md +++ b/docs/api.md @@ -272,6 +272,7 @@ render_prompt(template_text, task) -> str main() -> int # 创建 QApplication + MainWindow class MainWindow(QMainWindow) # QTabWidget: ①②③④⑤；支持注入 db_path/config 便于测试 class CollectTab(QWidget) # ① 导入采集：导入 Excel + 汇总栏 + QTableView 任务列表 + 未匹配略过标记 +class CollectWorker(BaseWorker) # ① 后台采集：登录检测 -> editor.collect -> db.set_collected/mark_skipped/mark_failed class TaskTableModel(QAbstractTableModel) # 任务表格模型：账号/别名/商品ID/阶段；未匹配别名显示“略过” class AccountsTab(QWidget) # ④ 账号管理：表格 + 增删改 + 启动登录 + 检测登录 + 快捷方式 class AccountDialog(QDialog) # 账号编辑弹窗；密码 QLineEdit.Password @@ -296,7 +297,9 @@ TAB_STYLE: str # 顶层 Tab 栏防误点样式： - 「未匹配(n)」可点击筛出别名未匹配账号的任务；「全部」恢复完整列表。 - 任务列表使用 `QTableView + TaskTableModel`，列为：账号、别名、商品ID、阶段。 - 账号列优先显示匹配到的 `accounts.account_name`；未匹配账号时保留 Excel 输入账号名。 -- 别名未匹配 `accounts.alias` 时不立即写库为 skipped，只在表格阶段列显示“略过”，真正跳过入库留给采集执行阶段。 +- 别名未匹配 `accounts.alias` 时列表阶段列显示“略过”；点击「采集旧标题/旧封面」后由 `CollectWorker` 写库为 `skipped`，原因 `别名未匹配账号`。 +- 「采集旧标题/旧封面」通过 `CollectWorker` 后台执行，只处理 `stage=imported` 的任务；每条先检测登录，未登录写 `mark_skipped`，已登录则下载旧封面到 `image_dir//_old.jpg` 并 `db.set_collected()`；单条失败 `mark_failed(..., "collect", error)` 后继续。 +- 「停止」调用 worker 的协作式 `cancel()`，已开始的单条跑到安全边界后结束。 ## workers 模块（`app/workers.py`，已建，PySide6） diff --git a/docs/current-state.md b/docs/current-state.md index c3e45be..7d64f26 100644 --- a/docs/current-state.md +++ b/docs/current-state.md @@ -6,9 +6,9 @@ ## 当前快照 - 日期：2026-06-27 -- 阶段：V0 单账号 CDP 流程已验证；V1 已完成 T-000 正式代码包结构、T-001 `app/editor.py` 模块化、T-002 `app/appconfig.py` 应用配置、T-003 SQLite 持久化地基、T-004 本地数据忽略规则、T-005 AI 模型清单后端、T-006 单元测试基座、T-101 账号 user-data-dir 工具、T-102 Chrome 启动器、T-103 登录保活与检测、T-104 PySide6 主窗口骨架、T-104b PySide6 worker 基座、T-105 Tab④ 账号管理、T-106 账号快捷方式、T-201 Excel 导入入库、T-202 Tab① 任务列表与导入按钮、T-202b Tab① 导入汇总栏。 +- 阶段：V0 单账号 CDP 流程已验证；V1 已完成 T-000 正式代码包结构、T-001 `app/editor.py` 模块化、T-002 `app/appconfig.py` 应用配置、T-003 SQLite 持久化地基、T-004 本地数据忽略规则、T-005 AI 模型清单后端、T-006 单元测试基座、T-101 账号 user-data-dir 工具、T-102 Chrome 启动器、T-103 登录保活与检测、T-104 PySide6 主窗口骨架、T-104b PySide6 worker 基座、T-105 Tab④ 账号管理、T-106 账号快捷方式、T-201 Excel 导入入库、T-202 Tab① 任务列表与导入按钮、T-202b Tab① 导入汇总栏、T-203 采集旧标题旧封面。 - 技术栈：Python 3.10+，自研 CDP（websocket-client + requests），SQLite（sqlite3）+ `config.json` + openpyxl + AI（服务商待定），GUI PySide6 5 Tab（已定）。 -- 生产代码：已建立 `app/` 包 + 根入口 `main.py`；`app/cdp.py` 为已验证 CDP 底座；`app/editor.py` 已封装登录状态检测、标题/封面/采集/更新按钮能力；`app/appconfig.py` 已实现 `config.json` 默认值/读写/更新、AI 参数与端口读取，以及 `config/ai_models.json` 模型清单 CRUD/过滤/打码/测试连接；`app/db.py` 已实现 SQLite schema、连接 PRAGMA、批次/账号/任务与阶段写库函数；`app/excel.py` 已实现多 Excel 输入列解析、整文件列校验、脏行统计跳过、导入批次与任务入库、别名匹配统计；`app/config.py` 已实现账号 slug 与 user-data-dir 创建；`app/accounts.py` 已实现账号 CRUD 服务、端口默认分配、启动登录、检测登录、生成快捷方式；`app/chrome.py` 已实现 Chrome 参数拼装、启动、CDP 端口探测、PowerShell `.lnk` 快捷方式生成；`app/gui.py` 已实现 PySide6 `MainWindow`、五 Tab、顶部 Tab 栏防误点样式、① 导入采集的 Excel 导入按钮/导入汇总栏/QTableView 任务列表/未匹配筛选与略过标记、④ 账号管理表格/弹窗/按钮/快捷方式与状态栏；`app/workers.py` 已实现 `BaseWorker`、通用 signals、取消标记和 `QThread` 启动包装。 +- 生产代码：已建立 `app/` 包 + 根入口 `main.py`；`app/cdp.py` 为已验证 CDP 底座；`app/editor.py` 已封装登录状态检测、标题/封面/采集/更新按钮能力；`app/appconfig.py` 已实现 `config.json` 默认值/读写/更新、AI 参数与端口读取，以及 `config/ai_models.json` 模型清单 CRUD/过滤/打码/测试连接；`app/db.py` 已实现 SQLite schema、连接 PRAGMA、批次/账号/任务与阶段写库函数；`app/excel.py` 已实现多 Excel 输入列解析、整文件列校验、脏行统计跳过、导入批次与任务入库、别名匹配统计；`app/config.py` 已实现账号 slug 与 user-data-dir 创建；`app/accounts.py` 已实现账号 CRUD 服务、端口默认分配、启动登录、检测登录、生成快捷方式；`app/chrome.py` 已实现 Chrome 参数拼装、启动、CDP 端口探测、PowerShell `.lnk` 快捷方式生成；`app/gui.py` 已实现 PySide6 `MainWindow`、五 Tab、顶部 Tab 栏防误点样式、① 导入采集的 Excel 导入按钮/导入汇总栏/QTableView 任务列表/未匹配筛选与略过标记/采集旧标题旧封面 worker、④ 账号管理表格/弹窗/按钮/快捷方式与状态栏；`app/workers.py` 已实现 `BaseWorker`、通用 signals、取消标记和 `QThread` 启动包装。 - 测试：`tests/` 已建立；T-006 后纯逻辑改动必须运行 `python -m unittest discover -s tests`，当前覆盖 appconfig/db/config/accounts/chrome 启动与快捷方式/editor 登录检测/excel 导入/gui ① 导入采集/gui ④ 账号管理/worker signal 与线程包装，并对尚未实现的 app.prompts 做契约占位 skip；CDP/Shopee 改动仍需测试商品手动验证。 - 数据：`config.json`、`config/ai_models.json`、`cmshopee.db`、`chrome_user_data_dir/`、`images/` 已由 `.gitignore` 排除；运营填写后的 Excel 业务文件默认忽略，标准空模板 `shopee待处理任务模板.xlsx` 可提交；`app/appconfig.py` 首次读取缺失的 `config.json` 时会在本地写默认配置，`app/db.py` 调用 `init_db()` 时会在本地创建 SQLite DB。 @@ -32,7 +32,7 @@ | `prototypes/` | 已有 | 已验证原型/探查脚本（demo/set_title/set_cover/get_title/cookies/inspect_images/grab/1.py），保留作人工回归与探查参考；见 `prototypes/README.md` | | `chrome-remote-debug-lan.md` | 已有 | WSL→Windows CDP 转发排查记录 | | `app/__init__.py` / `app/__main__.py` / `main.py` | 已有 | 正式包与启动入口；`python main.py` / `python -m app` 可运行占位入口 | -| `app/gui.py` | 已有 | T-104/T-105/T-106/T-202/T-202b 产出：PySide6 `QMainWindow` + 五 Tab；顶部 Tab 栏防误点样式；① 导入采集导入按钮、导入汇总栏、`QTableView` 任务列表、未匹配筛选与略过标记；④ 账号管理表格、账号弹窗、启动登录、检测登录、快捷方式 | +| `app/gui.py` | 已有 | T-104/T-105/T-106/T-202/T-202b/T-203 产出：PySide6 `QMainWindow` + 五 Tab；顶部 Tab 栏防误点样式；① 导入采集导入按钮、导入汇总栏、`QTableView` 任务列表、未匹配筛选与略过标记、采集旧标题旧封面 worker；④ 账号管理表格、账号弹窗、启动登录、检测登录、快捷方式 | | `app/workers.py` | 已有 | T-104b 产出：`BaseWorker` + 通用 signals + 取消标记 + `run_worker()` QThread 包装 | | `app/accounts.py` | 已有 | T-105/T-106 产出：账号 CRUD 服务、目录创建、端口分配、启动登录、检测登录、快捷方式 | | `app/editor.py` | 已有 | T-001/T-103 产出：登录状态检测、打开商品页、读/写标题、读/下载封面、上传拖封面、更新按钮、apply_task | @@ -40,7 +40,7 @@ | `app/db.py` | 已有 | T-003 产出：batches/accounts/tasks schema；WAL/busy_timeout/foreign_keys；账号/批次/任务与 set_* 阶段写库 | | `app/config.py` | 已有 | T-101 产出：别名→稳定 slug；创建并返回绝对 user-data-dir | | `app/chrome.py` | 已有 | T-102/T-106 产出：Chrome 启动参数、`subprocess.Popen` 启动、`/json/version` 端口探测、PowerShell `.lnk` 快捷方式 | -| `tests/` | 已有 | T-006/T-201/T-202/T-202b 产出：stdlib unittest 基座；覆盖 appconfig/db/config/accounts/chrome/editor/excel/gui/workers；prompts 模块契约占位测试 | +| `tests/` | 已有 | T-006/T-201/T-202/T-202b/T-203 产出：stdlib unittest 基座；覆盖 appconfig/db/config/accounts/chrome/editor/excel/gui/workers；prompts 模块契约占位测试 | | `app/excel.py` | 已有 | T-201 产出：多文件 Excel 输入列解析、必需列整文件拒绝、脏行逐行跳过、批次/任务入库、匹配统计；回写留给 T-204/T-403 | | `shopee待处理任务模板.xlsx` | 已有，待提交 | 标准空 Excel 模板；单工作表 `待处理任务`，表头 `账号名 | 别名 | 商品id | 旧标题 | 旧封面图片路径 | 新标题 | 新封面图片路径 | 更新状态`；运营复制后填写，填写副本不提交 | | `config.json` / `config/ai_models.json` / `cmshopee.db` / `chrome_user_data_dir/` / `images/` | 本地待建，已忽略 | 含配置、密钥、业务、登录态、图片，不提交版本库 | @@ -57,9 +57,9 @@ 任务状态以 [`06-tasks.md`](06-tasks.md) 为准，历史记录见 [`../progress.md`](../progress.md)。 -- 已完成：T-000（正式代码包结构）、T-001（`app/editor.py` 模块化）、T-002（`app/appconfig.py` + `config.json`）、T-003（`app/db.py` + SQLite 建表）、T-004（本地数据 gitignore）、T-005（AI 模型清单后端）、T-006（单元测试基座）、T-101（账号 slug/user-data-dir）、T-102（Chrome 启动器）、T-103（登录保活与检测）、T-104（PySide6 五 Tab 主窗口骨架）、T-104b（PySide6 worker 基座）、T-105（Tab④ 账号管理）、T-106（账号快捷方式）、T-201（Excel 导入：解析多文件输入列入库）、T-202（Tab① 任务列表 + 导入按钮 + 别名匹配标记）、T-202b（Tab① 导入汇总栏）。 +- 已完成：T-000（正式代码包结构）、T-001（`app/editor.py` 模块化）、T-002（`app/appconfig.py` + `config.json`）、T-003（`app/db.py` + SQLite 建表）、T-004（本地数据 gitignore）、T-005（AI 模型清单后端）、T-006（单元测试基座）、T-101（账号 slug/user-data-dir）、T-102（Chrome 启动器）、T-103（登录保活与检测）、T-104（PySide6 五 Tab 主窗口骨架）、T-104b（PySide6 worker 基座）、T-105（Tab④ 账号管理）、T-106（账号快捷方式）、T-201（Excel 导入：解析多文件输入列入库）、T-202（Tab① 任务列表 + 导入按钮 + 别名匹配标记）、T-202b（Tab① 导入汇总栏）、T-203（采集旧标题+旧封面）。 - 正在进行：无。 -- 下一个可领取任务：**T-203（采集旧标题+旧封面，只读下载并立即写库）**。 +- 下一个可领取任务：**T-204（回写旧字段到原 Excel，含文件锁处理）**。 ## 当前可运行内容 diff --git a/progress.md b/progress.md index 7636c0f..6b6f826 100644 --- a/progress.md +++ b/progress.md @@ -401,3 +401,12 @@ - 验证：`python -m unittest discover -s tests -p "test_gui.py"` 通过（9 tests）；`python -m compileall app main.py tests` 通过；`python -m unittest discover -s tests` 通过（48 tests，skipped=1）；`py -3 -m compileall app main.py tests` 通过；`py -3 -m unittest discover -s tests` 通过（34 tests，skipped=4，py -3 环境缺 openpyxl/PySide6，相关测试按设计跳过）。 - 注意：本轮只改 GUI 汇总与过滤，不涉及 Shopee/CDP 页面操作，无需测试商品实跑。 - 下一步：按任务看板领取 T-203（采集旧标题+旧封面，只读下载并立即写库）。 + +## 【2026-06-27】T-203 采集旧标题+旧封面 + +- 状态：DONE +- 变更：`app/gui.py` 新增 `CollectWorker`，Tab① 增加「采集旧标题/旧封面」与「停止」按钮；worker 逐条处理 `stage=imported` 任务，别名未匹配写 `db.mark_skipped(..., "别名未匹配账号")`，账号未登录写 `mark_skipped`，已登录则调用 `editor.collect()` 下载旧封面到 `image_dir//_old.jpg` 并 `db.set_collected()`；单条失败 `mark_failed(..., "collect", error)` 后继续。更新 `tests/test_gui.py` 覆盖成功采集、未登录略过、未匹配略过；同步 `docs/06-tasks.md`、`docs/current-state.md`、`docs/api.md`。 +- 细节：采集通过 `BaseWorker/QThread` 后台执行，使用 signal 回传进度、行更新、失败和完成；GUI 线程只刷新表格与状态栏。停止使用协作式 cancel，正在执行的单条跑到安全边界后结束。 +- 验证：`python -m unittest discover -s tests -p "test_gui.py"` 通过（10 tests）；`python -m compileall app main.py tests` 通过；`python -m unittest discover -s tests` 通过（49 tests，skipped=1）；`py -3 -m compileall app main.py tests` 通过；`py -3 -m unittest discover -s tests` 通过（34 tests，skipped=4，py -3 环境缺 openpyxl/PySide6，相关测试按设计跳过）。 +- 注意：本轮未连接真实 Shopee/CDP 实跑采集，`accounts.detect_login()` 与 `editor.collect()` 路径由 mock 覆盖；接 T-204 前建议用测试商品和已登录账号做一次 Tab① 真机采集冒烟。 +- 下一步：按任务看板领取 T-204（回写旧字段到原 Excel，含文件锁处理）。 diff --git a/tests/test_gui.py b/tests/test_gui.py index e764a3e..c714e30 100644 --- a/tests/test_gui.py +++ b/tests/test_gui.py @@ -19,6 +19,7 @@ from PySide6.QtWidgets import QApplication, QLineEdit, QTableView from app.gui import ( AccountDialog, AccountsTab, + CollectWorker, CollectTab, MainWindow, TAB_STYLE, @@ -35,6 +36,7 @@ class GuiTests(TempDirMixin, unittest.TestCase): return { "chrome_path": "chrome.exe", "user_data_root": os.path.join(temp_dir, "chrome_user_data_dir"), + "image_dir": os.path.join(temp_dir, "images"), "db_path": os.path.join(temp_dir, "cmshopee.db"), "debug_port_range": [9222, 9260], } @@ -303,6 +305,83 @@ class GuiTests(TempDirMixin, unittest.TestCase): self.assert_removed(temp_dir) + def test_collect_worker_collects_success_and_skips_unmatched_or_logged_out(self): + with self.make_temp_dir() as temp_dir: + cfg = self.make_config(temp_dir) + logged = accounts.create_account("主店", "alias-a", debug_port=9222, config=cfg) + logged_out = accounts.create_account("副店", "alias-b", debug_port=9223, config=cfg) + batch_id = db.create_batch(["input.xlsx"], path=cfg["db_path"]) + db.insert_tasks( + batch_id, + [ + { + "source_file_abs": os.path.join(temp_dir, "input.xlsx"), + "source_sheet": "商品", + "source_row": 2, + "account_name": "Excel主店", + "alias": "alias-a", + "item_id": "51100639510", + }, + { + "source_file_abs": os.path.join(temp_dir, "input.xlsx"), + "source_sheet": "商品", + "source_row": 3, + "account_name": "Excel副店", + "alias": "alias-b", + "item_id": "51100639511", + }, + { + "source_file_abs": os.path.join(temp_dir, "input.xlsx"), + "source_sheet": "商品", + "source_row": 4, + "account_name": "Excel未知", + "alias": "missing", + "item_id": "51100639512", + }, + ], + path=cfg["db_path"], + ) + tasks = db.list_tasks(batch_id=batch_id, path=cfg["db_path"]) + + def fake_login(account, path=None, config=None): + self.assertEqual(cfg["db_path"], path) + if account.alias == logged.alias: + return {"logged_in": True, "reason": None} + if account.alias == logged_out.alias: + return {"logged_in": False, "reason": "LOGIN_PAGE"} + raise AssertionError(account.alias) + + def fake_collect(account, task): + self.assertEqual(logged.alias, account.alias) + self.assertEqual("51100639510", task["item_id"]) + self.assertTrue(task["old_cover_path"].endswith( + os.path.join(logged.slug, "51100639510_old.jpg") + )) + return { + "old_title": "旧标题", + "old_cover_path": task["old_cover_path"], + } + + with mock.patch("app.gui.accounts.detect_login", side_effect=fake_login), \ + mock.patch("app.gui.editor.collect", side_effect=fake_collect) as collect: + summary = CollectWorker(tasks, db_path=cfg["db_path"], config=cfg).execute() + + self.assertEqual({"ok": True, "total": 3, "done": 3, "collected": 1, "skipped": 2, "failed": 0}, summary) + collect.assert_called_once() + updated = db.list_tasks(batch_id=batch_id, path=cfg["db_path"]) + by_alias = {task.alias: task for task in updated} + self.assertEqual("collected", by_alias["alias-a"].stage) + self.assertEqual("success", by_alias["alias-a"].status) + self.assertEqual("旧标题", by_alias["alias-a"].old_title) + self.assertTrue(by_alias["alias-a"].old_cover_path.endswith("51100639510_old.jpg")) + self.assertEqual("imported", by_alias["alias-b"].stage) + self.assertEqual("skipped", by_alias["alias-b"].status) + self.assertIn("账号未登录", by_alias["alias-b"].last_error) + self.assertEqual("skipped", by_alias["missing"].status) + self.assertEqual("别名未匹配账号", by_alias["missing"].last_error) + + self.assert_removed(temp_dir) + if __name__ == "__main__": unittest.main()