feat: 完成Tab①采集旧数据
新增 CollectWorker,通过后台线程逐条采集旧标题和旧封面,成功后立即 db.set_collected 写库。 采集前按别名匹配账号并检测登录态;未匹配或未登录写 skipped,单条采集失败 mark_failed 后继续。 Tab① 增加采集/停止按钮和进度状态回传;补充 GUI 测试覆盖成功采集、未登录略过和未匹配略过;同步任务文档与 progress。
This commit is contained in:
+212
-1
@@ -75,7 +75,7 @@ QTabBar::tab:hover:!selected {
|
|||||||
|
|
||||||
|
|
||||||
if QT_IMPORT_ERROR is None:
|
if QT_IMPORT_ERROR is None:
|
||||||
from . import accounts, appconfig, db, excel
|
from . import accounts, appconfig, db, editor, excel
|
||||||
from . import config as account_config
|
from . import config as account_config
|
||||||
|
|
||||||
|
|
||||||
@@ -204,13 +204,20 @@ if QT_IMPORT_ERROR is None:
|
|||||||
self.current_batch_id = None
|
self.current_batch_id = None
|
||||||
self.has_import_result = False
|
self.has_import_result = False
|
||||||
self.last_import_stats = None
|
self.last_import_stats = None
|
||||||
|
self.collect_worker = None
|
||||||
|
self.collect_thread = None
|
||||||
|
|
||||||
self.import_button = QPushButton("导入 Excel...")
|
self.import_button = QPushButton("导入 Excel...")
|
||||||
self.refresh_button = QPushButton("刷新")
|
self.refresh_button = QPushButton("刷新")
|
||||||
|
self.collect_button = QPushButton("采集旧标题/旧封面")
|
||||||
|
self.stop_collect_button = QPushButton("停止")
|
||||||
|
self.stop_collect_button.setEnabled(False)
|
||||||
|
|
||||||
toolbar = QHBoxLayout()
|
toolbar = QHBoxLayout()
|
||||||
toolbar.addWidget(self.import_button)
|
toolbar.addWidget(self.import_button)
|
||||||
toolbar.addWidget(self.refresh_button)
|
toolbar.addWidget(self.refresh_button)
|
||||||
|
toolbar.addWidget(self.collect_button)
|
||||||
|
toolbar.addWidget(self.stop_collect_button)
|
||||||
toolbar.addStretch(1)
|
toolbar.addStretch(1)
|
||||||
|
|
||||||
self.summary_label = QLabel("未导入任务")
|
self.summary_label = QLabel("未导入任务")
|
||||||
@@ -245,6 +252,8 @@ if QT_IMPORT_ERROR is None:
|
|||||||
|
|
||||||
self.import_button.clicked.connect(self.import_excel)
|
self.import_button.clicked.connect(self.import_excel)
|
||||||
self.refresh_button.clicked.connect(self.refresh_tasks)
|
self.refresh_button.clicked.connect(self.refresh_tasks)
|
||||||
|
self.collect_button.clicked.connect(self.collect_old_data)
|
||||||
|
self.stop_collect_button.clicked.connect(self.stop_collect)
|
||||||
self.show_all_button.clicked.connect(self.show_all_tasks)
|
self.show_all_button.clicked.connect(self.show_all_tasks)
|
||||||
self.show_unmatched_button.clicked.connect(self.show_unmatched_tasks)
|
self.show_unmatched_button.clicked.connect(self.show_unmatched_tasks)
|
||||||
|
|
||||||
@@ -306,6 +315,79 @@ if QT_IMPORT_ERROR is None:
|
|||||||
self._update_summary(task_rows, account_rows)
|
self._update_summary(task_rows, account_rows)
|
||||||
self._update_empty_label(len(task_rows))
|
self._update_empty_label(len(task_rows))
|
||||||
|
|
||||||
|
def collect_old_data(self, checked=False):
|
||||||
|
tasks = list(self.model.all_tasks)
|
||||||
|
if not tasks:
|
||||||
|
self._set_status("没有可采集任务")
|
||||||
|
return
|
||||||
|
worker = CollectWorker(tasks, db_path=self.db_path, config=self.config)
|
||||||
|
worker.progress.connect(self._on_collect_progress)
|
||||||
|
worker.row_updated.connect(self._on_collect_row_updated)
|
||||||
|
worker.log.connect(self._set_status)
|
||||||
|
worker.failed.connect(self._on_collect_failed)
|
||||||
|
worker.finished.connect(self._on_collect_finished)
|
||||||
|
worker.cancelled.connect(self._on_collect_cancelled)
|
||||||
|
thread = run_worker(worker, thread_name="CollectWorker", start=False)
|
||||||
|
thread.finished.connect(lambda: self._forget_collect_thread(thread))
|
||||||
|
self.collect_worker = worker
|
||||||
|
self.collect_thread = thread
|
||||||
|
self._set_collect_running(True)
|
||||||
|
thread.start()
|
||||||
|
|
||||||
|
def stop_collect(self, checked=False):
|
||||||
|
if self.collect_worker is not None:
|
||||||
|
self.collect_worker.cancel()
|
||||||
|
self._set_status("正在停止采集...")
|
||||||
|
|
||||||
|
def _set_collect_running(self, running):
|
||||||
|
self.import_button.setEnabled(not running)
|
||||||
|
self.refresh_button.setEnabled(not running)
|
||||||
|
self.collect_button.setEnabled(not running)
|
||||||
|
self.stop_collect_button.setEnabled(running)
|
||||||
|
|
||||||
|
def _forget_collect_thread(self, thread):
|
||||||
|
if self.collect_thread is thread:
|
||||||
|
self.collect_thread = None
|
||||||
|
self.collect_worker = None
|
||||||
|
|
||||||
|
def _on_collect_progress(self, payload):
|
||||||
|
self._set_status(
|
||||||
|
"采集进度:{done}/{total},成功{collected},略过{skipped},失败{failed}".format(
|
||||||
|
done=payload.get("done", 0),
|
||||||
|
total=payload.get("total", 0),
|
||||||
|
collected=payload.get("collected", 0),
|
||||||
|
skipped=payload.get("skipped", 0),
|
||||||
|
failed=payload.get("failed", 0),
|
||||||
|
)
|
||||||
|
)
|
||||||
|
|
||||||
|
def _on_collect_row_updated(self, task_id, fields):
|
||||||
|
self.refresh_tasks()
|
||||||
|
|
||||||
|
def _on_collect_failed(self, task_id, error):
|
||||||
|
self._set_status(f"任务 {task_id} 采集失败:{error}")
|
||||||
|
|
||||||
|
def _on_collect_finished(self, payload):
|
||||||
|
self._set_collect_running(False)
|
||||||
|
self.refresh_tasks()
|
||||||
|
self._set_status(
|
||||||
|
"采集完成:成功{collected},略过{skipped},失败{failed}".format(
|
||||||
|
collected=payload.get("collected", 0),
|
||||||
|
skipped=payload.get("skipped", 0),
|
||||||
|
failed=payload.get("failed", 0),
|
||||||
|
)
|
||||||
|
)
|
||||||
|
|
||||||
|
def _on_collect_cancelled(self, payload):
|
||||||
|
self._set_collect_running(False)
|
||||||
|
self.refresh_tasks()
|
||||||
|
self._set_status(
|
||||||
|
"采集已停止:完成{done}/{total}".format(
|
||||||
|
done=payload.get("done", 0),
|
||||||
|
total=payload.get("total", 0),
|
||||||
|
)
|
||||||
|
)
|
||||||
|
|
||||||
def show_all_tasks(self, checked=False):
|
def show_all_tasks(self, checked=False):
|
||||||
self.model.set_filter_mode("all")
|
self.model.set_filter_mode("all")
|
||||||
self._update_empty_label(len(self.model.all_tasks))
|
self._update_empty_label(len(self.model.all_tasks))
|
||||||
@@ -458,6 +540,135 @@ if QT_IMPORT_ERROR is None:
|
|||||||
from .workers import BaseWorker, run_worker
|
from .workers import BaseWorker, run_worker
|
||||||
|
|
||||||
|
|
||||||
|
class CollectWorker(BaseWorker):
|
||||||
|
"""Collect old title and cover for imported tasks."""
|
||||||
|
|
||||||
|
def __init__(self, tasks, db_path=None, config=None):
|
||||||
|
super().__init__()
|
||||||
|
self.tasks = list(tasks)
|
||||||
|
self.db_path = db_path
|
||||||
|
self.config = config
|
||||||
|
|
||||||
|
def execute(self):
|
||||||
|
account_rows = accounts.list_accounts(path=self.db_path, config=self.config)
|
||||||
|
account_by_alias = {
|
||||||
|
str(account.alias).strip(): account
|
||||||
|
for account in account_rows
|
||||||
|
if str(account.alias).strip()
|
||||||
|
}
|
||||||
|
eligible = [
|
||||||
|
task for task in self.tasks
|
||||||
|
if getattr(task, "stage", None) == "imported"
|
||||||
|
]
|
||||||
|
total = len(eligible)
|
||||||
|
collected = 0
|
||||||
|
skipped = 0
|
||||||
|
failed = 0
|
||||||
|
done = 0
|
||||||
|
|
||||||
|
for task in eligible:
|
||||||
|
if self.should_cancel():
|
||||||
|
break
|
||||||
|
account = account_by_alias.get(str(task.alias).strip())
|
||||||
|
if account is None:
|
||||||
|
skipped += 1
|
||||||
|
done += 1
|
||||||
|
reason = "别名未匹配账号"
|
||||||
|
db.mark_skipped(task.id, reason, path=self.db_path)
|
||||||
|
self.row_updated.emit(task.id, {"status": "skipped", "last_error": reason})
|
||||||
|
self._emit_progress(done, total, collected, skipped, failed)
|
||||||
|
continue
|
||||||
|
|
||||||
|
status = self._login_status(account)
|
||||||
|
if not status.get("logged_in"):
|
||||||
|
skipped += 1
|
||||||
|
done += 1
|
||||||
|
reason = self._login_skip_reason(status)
|
||||||
|
db.mark_skipped(task.id, reason, path=self.db_path)
|
||||||
|
self.row_updated.emit(task.id, {"status": "skipped", "last_error": reason})
|
||||||
|
self._emit_progress(done, total, collected, skipped, failed)
|
||||||
|
continue
|
||||||
|
|
||||||
|
try:
|
||||||
|
db.mark_running(task.id, "collect", path=self.db_path)
|
||||||
|
self.row_updated.emit(task.id, {"status": "running"})
|
||||||
|
result = editor.collect(
|
||||||
|
account,
|
||||||
|
{
|
||||||
|
"item_id": task.item_id,
|
||||||
|
"old_cover_path": self._old_cover_path(account, task),
|
||||||
|
},
|
||||||
|
)
|
||||||
|
db.set_collected(
|
||||||
|
task.id,
|
||||||
|
result.get("old_title", ""),
|
||||||
|
result.get("old_cover_path", ""),
|
||||||
|
path=self.db_path,
|
||||||
|
)
|
||||||
|
collected += 1
|
||||||
|
self.row_updated.emit(
|
||||||
|
task.id,
|
||||||
|
{
|
||||||
|
"stage": "collected",
|
||||||
|
"status": "success",
|
||||||
|
"old_title": result.get("old_title", ""),
|
||||||
|
"old_cover_path": result.get("old_cover_path", ""),
|
||||||
|
},
|
||||||
|
)
|
||||||
|
except Exception as exc:
|
||||||
|
failed += 1
|
||||||
|
error = str(exc) or exc.__class__.__name__
|
||||||
|
db.mark_failed(task.id, "collect", error, path=self.db_path)
|
||||||
|
self.failed.emit(task.id, error)
|
||||||
|
self.row_updated.emit(task.id, {"status": "failed", "last_error": error})
|
||||||
|
finally:
|
||||||
|
done += 1
|
||||||
|
self._emit_progress(done, total, collected, skipped, failed)
|
||||||
|
|
||||||
|
return {
|
||||||
|
"ok": failed == 0,
|
||||||
|
"total": total,
|
||||||
|
"done": done,
|
||||||
|
"collected": collected,
|
||||||
|
"skipped": skipped,
|
||||||
|
"failed": failed,
|
||||||
|
}
|
||||||
|
|
||||||
|
def _emit_progress(self, done, total, collected, skipped, failed):
|
||||||
|
self.progress.emit(
|
||||||
|
{
|
||||||
|
"done": done,
|
||||||
|
"total": total,
|
||||||
|
"collected": collected,
|
||||||
|
"skipped": skipped,
|
||||||
|
"failed": failed,
|
||||||
|
}
|
||||||
|
)
|
||||||
|
|
||||||
|
def _login_status(self, account):
|
||||||
|
try:
|
||||||
|
return accounts.detect_login(account, path=self.db_path, config=self.config)
|
||||||
|
except Exception as exc:
|
||||||
|
return {
|
||||||
|
"logged_in": False,
|
||||||
|
"reason": f"LOGIN_CHECK_FAILED: {exc}",
|
||||||
|
}
|
||||||
|
|
||||||
|
def _login_skip_reason(self, status):
|
||||||
|
reason = status.get("reason")
|
||||||
|
return f"账号未登录: {reason}" if reason else "账号未登录"
|
||||||
|
|
||||||
|
def _old_cover_path(self, account, task):
|
||||||
|
image_root = appconfig.image_dir(self.config)
|
||||||
|
return os.path.abspath(
|
||||||
|
os.path.join(
|
||||||
|
image_root,
|
||||||
|
account.slug,
|
||||||
|
f"{task.item_id}_old.jpg",
|
||||||
|
)
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
class AccountLoginCheckWorker(BaseWorker):
|
class AccountLoginCheckWorker(BaseWorker):
|
||||||
def __init__(self, account, db_path=None, config=None, timeout=8):
|
def __init__(self, account, db_path=None, config=None, timeout=8):
|
||||||
super().__init__()
|
super().__init__()
|
||||||
|
|||||||
+1
-1
@@ -50,7 +50,7 @@
|
|||||||
| T-201 | `app/excel.py` 导入:解析多文件输入列入库 | T-003 | 按模板解析账号名/别名/商品id;记录 source_file_abs/source_sheet/source_row/row_key;缺必需列则拒绝整文件并记 file_errors;脏行逐行跳过计 invalid;写 batches/tasks | DONE |
|
| T-201 | `app/excel.py` 导入:解析多文件输入列入库 | T-003 | 按模板解析账号名/别名/商品id;记录 source_file_abs/source_sheet/source_row/row_key;缺必需列则拒绝整文件并记 file_errors;脏行逐行跳过计 invalid;写 batches/tasks | DONE |
|
||||||
| T-202 | Tab① 任务列表 + 导入按钮 + 别名匹配标记 | T-201, T-105 | `QTableView` 显示账号/别名/商品id/阶段;未匹配标“略过” | DONE |
|
| T-202 | Tab① 任务列表 + 导入按钮 + 别名匹配标记 | T-201, T-105 | `QTableView` 显示账号/别名/商品id/阶段;未匹配标“略过” | DONE |
|
||||||
| T-202b | Tab① 导入汇总栏 | T-202 | 导入后显示 文件数/解析行数/有效/无效/匹配(按账号)/未匹配;未匹配可点击筛出 | DONE |
|
| T-202b | Tab① 导入汇总栏 | T-202 | 导入后显示 文件数/解析行数/有效/无效/匹配(按账号)/未匹配;未匹配可点击筛出 | DONE |
|
||||||
| T-203 | 采集旧标题+旧封面(只读),下载图片,立即写库 | T-202, T-001, T-104b | 通过 worker 执行;逐条 set_collected;旧封面下载到 `images/<slug>/`;未登录/未匹配略过记原因 | TODO |
|
| T-203 | 采集旧标题+旧封面(只读),下载图片,立即写库 | T-202, T-001, T-104b | 通过 worker 执行;逐条 set_collected;旧封面下载到 `images/<slug>/`;未登录/未匹配略过记原因 | DONE |
|
||||||
| T-204 | 回写旧字段到原 Excel(含文件锁处理) | T-203, T-201 | 旧标题/旧封面回写原文件;被锁提示重试或 export_copy | TODO |
|
| T-204 | 回写旧字段到原 Excel(含文件锁处理) | T-203, T-201 | 旧标题/旧封面回写原文件;被锁提示重试或 export_copy | TODO |
|
||||||
| T-205 | 首次未配账号/未登录的引导保护 | T-105, T-203 | 无账号/未登录时 ① 执行按钮禁用并提示去④ | TODO |
|
| T-205 | 首次未配账号/未登录的引导保护 | T-105, T-203 | 无账号/未登录时 ① 执行按钮禁用并提示去④ | TODO |
|
||||||
|
|
||||||
|
|||||||
+4
-1
@@ -272,6 +272,7 @@ render_prompt(template_text, task) -> str
|
|||||||
main() -> int # 创建 QApplication + MainWindow
|
main() -> int # 创建 QApplication + MainWindow
|
||||||
class MainWindow(QMainWindow) # QTabWidget: ①②③④⑤;支持注入 db_path/config 便于测试
|
class MainWindow(QMainWindow) # QTabWidget: ①②③④⑤;支持注入 db_path/config 便于测试
|
||||||
class CollectTab(QWidget) # ① 导入采集:导入 Excel + 汇总栏 + QTableView 任务列表 + 未匹配略过标记
|
class CollectTab(QWidget) # ① 导入采集:导入 Excel + 汇总栏 + QTableView 任务列表 + 未匹配略过标记
|
||||||
|
class CollectWorker(BaseWorker) # ① 后台采集:登录检测 -> editor.collect -> db.set_collected/mark_skipped/mark_failed
|
||||||
class TaskTableModel(QAbstractTableModel) # 任务表格模型:账号/别名/商品ID/阶段;未匹配别名显示“略过”
|
class TaskTableModel(QAbstractTableModel) # 任务表格模型:账号/别名/商品ID/阶段;未匹配别名显示“略过”
|
||||||
class AccountsTab(QWidget) # ④ 账号管理:表格 + 增删改 + 启动登录 + 检测登录 + 快捷方式
|
class AccountsTab(QWidget) # ④ 账号管理:表格 + 增删改 + 启动登录 + 检测登录 + 快捷方式
|
||||||
class AccountDialog(QDialog) # 账号编辑弹窗;密码 QLineEdit.Password
|
class AccountDialog(QDialog) # 账号编辑弹窗;密码 QLineEdit.Password
|
||||||
@@ -296,7 +297,9 @@ TAB_STYLE: str # 顶层 Tab 栏防误点样式:
|
|||||||
- 「未匹配(n)」可点击筛出别名未匹配账号的任务;「全部」恢复完整列表。
|
- 「未匹配(n)」可点击筛出别名未匹配账号的任务;「全部」恢复完整列表。
|
||||||
- 任务列表使用 `QTableView + TaskTableModel`,列为:账号、别名、商品ID、阶段。
|
- 任务列表使用 `QTableView + TaskTableModel`,列为:账号、别名、商品ID、阶段。
|
||||||
- 账号列优先显示匹配到的 `accounts.account_name`;未匹配账号时保留 Excel 输入账号名。
|
- 账号列优先显示匹配到的 `accounts.account_name`;未匹配账号时保留 Excel 输入账号名。
|
||||||
- 别名未匹配 `accounts.alias` 时不立即写库为 skipped,只在表格阶段列显示“略过”,真正跳过入库留给采集执行阶段。
|
- 别名未匹配 `accounts.alias` 时列表阶段列显示“略过”;点击「采集旧标题/旧封面」后由 `CollectWorker` 写库为 `skipped`,原因 `别名未匹配账号`。
|
||||||
|
- 「采集旧标题/旧封面」通过 `CollectWorker` 后台执行,只处理 `stage=imported` 的任务;每条先检测登录,未登录写 `mark_skipped`,已登录则下载旧封面到 `image_dir/<slug>/<item_id>_old.jpg` 并 `db.set_collected()`;单条失败 `mark_failed(..., "collect", error)` 后继续。
|
||||||
|
- 「停止」调用 worker 的协作式 `cancel()`,已开始的单条跑到安全边界后结束。
|
||||||
|
|
||||||
## workers 模块(`app/workers.py`,已建,PySide6)
|
## workers 模块(`app/workers.py`,已建,PySide6)
|
||||||
|
|
||||||
|
|||||||
@@ -6,9 +6,9 @@
|
|||||||
## 当前快照
|
## 当前快照
|
||||||
|
|
||||||
- 日期:2026-06-27
|
- 日期:2026-06-27
|
||||||
- 阶段:V0 单账号 CDP 流程已验证;V1 已完成 T-000 正式代码包结构、T-001 `app/editor.py` 模块化、T-002 `app/appconfig.py` 应用配置、T-003 SQLite 持久化地基、T-004 本地数据忽略规则、T-005 AI 模型清单后端、T-006 单元测试基座、T-101 账号 user-data-dir 工具、T-102 Chrome 启动器、T-103 登录保活与检测、T-104 PySide6 主窗口骨架、T-104b PySide6 worker 基座、T-105 Tab④ 账号管理、T-106 账号快捷方式、T-201 Excel 导入入库、T-202 Tab① 任务列表与导入按钮、T-202b Tab① 导入汇总栏。
|
- 阶段:V0 单账号 CDP 流程已验证;V1 已完成 T-000 正式代码包结构、T-001 `app/editor.py` 模块化、T-002 `app/appconfig.py` 应用配置、T-003 SQLite 持久化地基、T-004 本地数据忽略规则、T-005 AI 模型清单后端、T-006 单元测试基座、T-101 账号 user-data-dir 工具、T-102 Chrome 启动器、T-103 登录保活与检测、T-104 PySide6 主窗口骨架、T-104b PySide6 worker 基座、T-105 Tab④ 账号管理、T-106 账号快捷方式、T-201 Excel 导入入库、T-202 Tab① 任务列表与导入按钮、T-202b Tab① 导入汇总栏、T-203 采集旧标题旧封面。
|
||||||
- 技术栈:Python 3.10+,自研 CDP(websocket-client + requests),SQLite(sqlite3)+ `config.json` + openpyxl + AI(服务商待定),GUI PySide6 5 Tab(已定)。
|
- 技术栈:Python 3.10+,自研 CDP(websocket-client + requests),SQLite(sqlite3)+ `config.json` + openpyxl + AI(服务商待定),GUI PySide6 5 Tab(已定)。
|
||||||
- 生产代码:已建立 `app/` 包 + 根入口 `main.py`;`app/cdp.py` 为已验证 CDP 底座;`app/editor.py` 已封装登录状态检测、标题/封面/采集/更新按钮能力;`app/appconfig.py` 已实现 `config.json` 默认值/读写/更新、AI 参数与端口读取,以及 `config/ai_models.json` 模型清单 CRUD/过滤/打码/测试连接;`app/db.py` 已实现 SQLite schema、连接 PRAGMA、批次/账号/任务与阶段写库函数;`app/excel.py` 已实现多 Excel 输入列解析、整文件列校验、脏行统计跳过、导入批次与任务入库、别名匹配统计;`app/config.py` 已实现账号 slug 与 user-data-dir 创建;`app/accounts.py` 已实现账号 CRUD 服务、端口默认分配、启动登录、检测登录、生成快捷方式;`app/chrome.py` 已实现 Chrome 参数拼装、启动、CDP 端口探测、PowerShell `.lnk` 快捷方式生成;`app/gui.py` 已实现 PySide6 `MainWindow`、五 Tab、顶部 Tab 栏防误点样式、① 导入采集的 Excel 导入按钮/导入汇总栏/QTableView 任务列表/未匹配筛选与略过标记、④ 账号管理表格/弹窗/按钮/快捷方式与状态栏;`app/workers.py` 已实现 `BaseWorker`、通用 signals、取消标记和 `QThread` 启动包装。
|
- 生产代码:已建立 `app/` 包 + 根入口 `main.py`;`app/cdp.py` 为已验证 CDP 底座;`app/editor.py` 已封装登录状态检测、标题/封面/采集/更新按钮能力;`app/appconfig.py` 已实现 `config.json` 默认值/读写/更新、AI 参数与端口读取,以及 `config/ai_models.json` 模型清单 CRUD/过滤/打码/测试连接;`app/db.py` 已实现 SQLite schema、连接 PRAGMA、批次/账号/任务与阶段写库函数;`app/excel.py` 已实现多 Excel 输入列解析、整文件列校验、脏行统计跳过、导入批次与任务入库、别名匹配统计;`app/config.py` 已实现账号 slug 与 user-data-dir 创建;`app/accounts.py` 已实现账号 CRUD 服务、端口默认分配、启动登录、检测登录、生成快捷方式;`app/chrome.py` 已实现 Chrome 参数拼装、启动、CDP 端口探测、PowerShell `.lnk` 快捷方式生成;`app/gui.py` 已实现 PySide6 `MainWindow`、五 Tab、顶部 Tab 栏防误点样式、① 导入采集的 Excel 导入按钮/导入汇总栏/QTableView 任务列表/未匹配筛选与略过标记/采集旧标题旧封面 worker、④ 账号管理表格/弹窗/按钮/快捷方式与状态栏;`app/workers.py` 已实现 `BaseWorker`、通用 signals、取消标记和 `QThread` 启动包装。
|
||||||
- 测试:`tests/` 已建立;T-006 后纯逻辑改动必须运行 `python -m unittest discover -s tests`,当前覆盖 appconfig/db/config/accounts/chrome 启动与快捷方式/editor 登录检测/excel 导入/gui ① 导入采集/gui ④ 账号管理/worker signal 与线程包装,并对尚未实现的 app.prompts 做契约占位 skip;CDP/Shopee 改动仍需测试商品手动验证。
|
- 测试:`tests/` 已建立;T-006 后纯逻辑改动必须运行 `python -m unittest discover -s tests`,当前覆盖 appconfig/db/config/accounts/chrome 启动与快捷方式/editor 登录检测/excel 导入/gui ① 导入采集/gui ④ 账号管理/worker signal 与线程包装,并对尚未实现的 app.prompts 做契约占位 skip;CDP/Shopee 改动仍需测试商品手动验证。
|
||||||
- 数据:`config.json`、`config/ai_models.json`、`cmshopee.db`、`chrome_user_data_dir/`、`images/` 已由 `.gitignore` 排除;运营填写后的 Excel 业务文件默认忽略,标准空模板 `shopee待处理任务模板.xlsx` 可提交;`app/appconfig.py` 首次读取缺失的 `config.json` 时会在本地写默认配置,`app/db.py` 调用 `init_db()` 时会在本地创建 SQLite DB。
|
- 数据:`config.json`、`config/ai_models.json`、`cmshopee.db`、`chrome_user_data_dir/`、`images/` 已由 `.gitignore` 排除;运营填写后的 Excel 业务文件默认忽略,标准空模板 `shopee待处理任务模板.xlsx` 可提交;`app/appconfig.py` 首次读取缺失的 `config.json` 时会在本地写默认配置,`app/db.py` 调用 `init_db()` 时会在本地创建 SQLite DB。
|
||||||
|
|
||||||
@@ -32,7 +32,7 @@
|
|||||||
| `prototypes/` | 已有 | 已验证原型/探查脚本(demo/set_title/set_cover/get_title/cookies/inspect_images/grab/1.py),保留作人工回归与探查参考;见 `prototypes/README.md` |
|
| `prototypes/` | 已有 | 已验证原型/探查脚本(demo/set_title/set_cover/get_title/cookies/inspect_images/grab/1.py),保留作人工回归与探查参考;见 `prototypes/README.md` |
|
||||||
| `chrome-remote-debug-lan.md` | 已有 | WSL→Windows CDP 转发排查记录 |
|
| `chrome-remote-debug-lan.md` | 已有 | WSL→Windows CDP 转发排查记录 |
|
||||||
| `app/__init__.py` / `app/__main__.py` / `main.py` | 已有 | 正式包与启动入口;`python main.py` / `python -m app` 可运行占位入口 |
|
| `app/__init__.py` / `app/__main__.py` / `main.py` | 已有 | 正式包与启动入口;`python main.py` / `python -m app` 可运行占位入口 |
|
||||||
| `app/gui.py` | 已有 | T-104/T-105/T-106/T-202/T-202b 产出:PySide6 `QMainWindow` + 五 Tab;顶部 Tab 栏防误点样式;① 导入采集导入按钮、导入汇总栏、`QTableView` 任务列表、未匹配筛选与略过标记;④ 账号管理表格、账号弹窗、启动登录、检测登录、快捷方式 |
|
| `app/gui.py` | 已有 | T-104/T-105/T-106/T-202/T-202b/T-203 产出:PySide6 `QMainWindow` + 五 Tab;顶部 Tab 栏防误点样式;① 导入采集导入按钮、导入汇总栏、`QTableView` 任务列表、未匹配筛选与略过标记、采集旧标题旧封面 worker;④ 账号管理表格、账号弹窗、启动登录、检测登录、快捷方式 |
|
||||||
| `app/workers.py` | 已有 | T-104b 产出:`BaseWorker` + 通用 signals + 取消标记 + `run_worker()` QThread 包装 |
|
| `app/workers.py` | 已有 | T-104b 产出:`BaseWorker` + 通用 signals + 取消标记 + `run_worker()` QThread 包装 |
|
||||||
| `app/accounts.py` | 已有 | T-105/T-106 产出:账号 CRUD 服务、目录创建、端口分配、启动登录、检测登录、快捷方式 |
|
| `app/accounts.py` | 已有 | T-105/T-106 产出:账号 CRUD 服务、目录创建、端口分配、启动登录、检测登录、快捷方式 |
|
||||||
| `app/editor.py` | 已有 | T-001/T-103 产出:登录状态检测、打开商品页、读/写标题、读/下载封面、上传拖封面、更新按钮、apply_task |
|
| `app/editor.py` | 已有 | T-001/T-103 产出:登录状态检测、打开商品页、读/写标题、读/下载封面、上传拖封面、更新按钮、apply_task |
|
||||||
@@ -40,7 +40,7 @@
|
|||||||
| `app/db.py` | 已有 | T-003 产出:batches/accounts/tasks schema;WAL/busy_timeout/foreign_keys;账号/批次/任务与 set_* 阶段写库 |
|
| `app/db.py` | 已有 | T-003 产出:batches/accounts/tasks schema;WAL/busy_timeout/foreign_keys;账号/批次/任务与 set_* 阶段写库 |
|
||||||
| `app/config.py` | 已有 | T-101 产出:别名→稳定 slug;创建并返回绝对 user-data-dir |
|
| `app/config.py` | 已有 | T-101 产出:别名→稳定 slug;创建并返回绝对 user-data-dir |
|
||||||
| `app/chrome.py` | 已有 | T-102/T-106 产出:Chrome 启动参数、`subprocess.Popen` 启动、`/json/version` 端口探测、PowerShell `.lnk` 快捷方式 |
|
| `app/chrome.py` | 已有 | T-102/T-106 产出:Chrome 启动参数、`subprocess.Popen` 启动、`/json/version` 端口探测、PowerShell `.lnk` 快捷方式 |
|
||||||
| `tests/` | 已有 | T-006/T-201/T-202/T-202b 产出:stdlib unittest 基座;覆盖 appconfig/db/config/accounts/chrome/editor/excel/gui/workers;prompts 模块契约占位测试 |
|
| `tests/` | 已有 | T-006/T-201/T-202/T-202b/T-203 产出:stdlib unittest 基座;覆盖 appconfig/db/config/accounts/chrome/editor/excel/gui/workers;prompts 模块契约占位测试 |
|
||||||
| `app/excel.py` | 已有 | T-201 产出:多文件 Excel 输入列解析、必需列整文件拒绝、脏行逐行跳过、批次/任务入库、匹配统计;回写留给 T-204/T-403 |
|
| `app/excel.py` | 已有 | T-201 产出:多文件 Excel 输入列解析、必需列整文件拒绝、脏行逐行跳过、批次/任务入库、匹配统计;回写留给 T-204/T-403 |
|
||||||
| `shopee待处理任务模板.xlsx` | 已有,待提交 | 标准空 Excel 模板;单工作表 `待处理任务`,表头 `账号名 | 别名 | 商品id | 旧标题 | 旧封面图片路径 | 新标题 | 新封面图片路径 | 更新状态`;运营复制后填写,填写副本不提交 |
|
| `shopee待处理任务模板.xlsx` | 已有,待提交 | 标准空 Excel 模板;单工作表 `待处理任务`,表头 `账号名 | 别名 | 商品id | 旧标题 | 旧封面图片路径 | 新标题 | 新封面图片路径 | 更新状态`;运营复制后填写,填写副本不提交 |
|
||||||
| `config.json` / `config/ai_models.json` / `cmshopee.db` / `chrome_user_data_dir/` / `images/` | 本地待建,已忽略 | 含配置、密钥、业务、登录态、图片,不提交版本库 |
|
| `config.json` / `config/ai_models.json` / `cmshopee.db` / `chrome_user_data_dir/` / `images/` | 本地待建,已忽略 | 含配置、密钥、业务、登录态、图片,不提交版本库 |
|
||||||
@@ -57,9 +57,9 @@
|
|||||||
|
|
||||||
任务状态以 [`06-tasks.md`](06-tasks.md) 为准,历史记录见 [`../progress.md`](../progress.md)。
|
任务状态以 [`06-tasks.md`](06-tasks.md) 为准,历史记录见 [`../progress.md`](../progress.md)。
|
||||||
|
|
||||||
- 已完成:T-000(正式代码包结构)、T-001(`app/editor.py` 模块化)、T-002(`app/appconfig.py` + `config.json`)、T-003(`app/db.py` + SQLite 建表)、T-004(本地数据 gitignore)、T-005(AI 模型清单后端)、T-006(单元测试基座)、T-101(账号 slug/user-data-dir)、T-102(Chrome 启动器)、T-103(登录保活与检测)、T-104(PySide6 五 Tab 主窗口骨架)、T-104b(PySide6 worker 基座)、T-105(Tab④ 账号管理)、T-106(账号快捷方式)、T-201(Excel 导入:解析多文件输入列入库)、T-202(Tab① 任务列表 + 导入按钮 + 别名匹配标记)、T-202b(Tab① 导入汇总栏)。
|
- 已完成:T-000(正式代码包结构)、T-001(`app/editor.py` 模块化)、T-002(`app/appconfig.py` + `config.json`)、T-003(`app/db.py` + SQLite 建表)、T-004(本地数据 gitignore)、T-005(AI 模型清单后端)、T-006(单元测试基座)、T-101(账号 slug/user-data-dir)、T-102(Chrome 启动器)、T-103(登录保活与检测)、T-104(PySide6 五 Tab 主窗口骨架)、T-104b(PySide6 worker 基座)、T-105(Tab④ 账号管理)、T-106(账号快捷方式)、T-201(Excel 导入:解析多文件输入列入库)、T-202(Tab① 任务列表 + 导入按钮 + 别名匹配标记)、T-202b(Tab① 导入汇总栏)、T-203(采集旧标题+旧封面)。
|
||||||
- 正在进行:无。
|
- 正在进行:无。
|
||||||
- 下一个可领取任务:**T-203(采集旧标题+旧封面,只读下载并立即写库)**。
|
- 下一个可领取任务:**T-204(回写旧字段到原 Excel,含文件锁处理)**。
|
||||||
|
|
||||||
## 当前可运行内容
|
## 当前可运行内容
|
||||||
|
|
||||||
|
|||||||
@@ -401,3 +401,12 @@
|
|||||||
- 验证:`python -m unittest discover -s tests -p "test_gui.py"` 通过(9 tests);`python -m compileall app main.py tests` 通过;`python -m unittest discover -s tests` 通过(48 tests,skipped=1);`py -3 -m compileall app main.py tests` 通过;`py -3 -m unittest discover -s tests` 通过(34 tests,skipped=4,py -3 环境缺 openpyxl/PySide6,相关测试按设计跳过)。
|
- 验证:`python -m unittest discover -s tests -p "test_gui.py"` 通过(9 tests);`python -m compileall app main.py tests` 通过;`python -m unittest discover -s tests` 通过(48 tests,skipped=1);`py -3 -m compileall app main.py tests` 通过;`py -3 -m unittest discover -s tests` 通过(34 tests,skipped=4,py -3 环境缺 openpyxl/PySide6,相关测试按设计跳过)。
|
||||||
- 注意:本轮只改 GUI 汇总与过滤,不涉及 Shopee/CDP 页面操作,无需测试商品实跑。
|
- 注意:本轮只改 GUI 汇总与过滤,不涉及 Shopee/CDP 页面操作,无需测试商品实跑。
|
||||||
- 下一步:按任务看板领取 T-203(采集旧标题+旧封面,只读下载并立即写库)。
|
- 下一步:按任务看板领取 T-203(采集旧标题+旧封面,只读下载并立即写库)。
|
||||||
|
|
||||||
|
## 【2026-06-27】T-203 采集旧标题+旧封面
|
||||||
|
|
||||||
|
- 状态:DONE
|
||||||
|
- 变更:`app/gui.py` 新增 `CollectWorker`,Tab① 增加「采集旧标题/旧封面」与「停止」按钮;worker 逐条处理 `stage=imported` 任务,别名未匹配写 `db.mark_skipped(..., "别名未匹配账号")`,账号未登录写 `mark_skipped`,已登录则调用 `editor.collect()` 下载旧封面到 `image_dir/<slug>/<item_id>_old.jpg` 并 `db.set_collected()`;单条失败 `mark_failed(..., "collect", error)` 后继续。更新 `tests/test_gui.py` 覆盖成功采集、未登录略过、未匹配略过;同步 `docs/06-tasks.md`、`docs/current-state.md`、`docs/api.md`。
|
||||||
|
- 细节:采集通过 `BaseWorker/QThread` 后台执行,使用 signal 回传进度、行更新、失败和完成;GUI 线程只刷新表格与状态栏。停止使用协作式 cancel,正在执行的单条跑到安全边界后结束。
|
||||||
|
- 验证:`python -m unittest discover -s tests -p "test_gui.py"` 通过(10 tests);`python -m compileall app main.py tests` 通过;`python -m unittest discover -s tests` 通过(49 tests,skipped=1);`py -3 -m compileall app main.py tests` 通过;`py -3 -m unittest discover -s tests` 通过(34 tests,skipped=4,py -3 环境缺 openpyxl/PySide6,相关测试按设计跳过)。
|
||||||
|
- 注意:本轮未连接真实 Shopee/CDP 实跑采集,`accounts.detect_login()` 与 `editor.collect()` 路径由 mock 覆盖;接 T-204 前建议用测试商品和已登录账号做一次 Tab① 真机采集冒烟。
|
||||||
|
- 下一步:按任务看板领取 T-204(回写旧字段到原 Excel,含文件锁处理)。
|
||||||
|
|||||||
@@ -19,6 +19,7 @@ from PySide6.QtWidgets import QApplication, QLineEdit, QTableView
|
|||||||
from app.gui import (
|
from app.gui import (
|
||||||
AccountDialog,
|
AccountDialog,
|
||||||
AccountsTab,
|
AccountsTab,
|
||||||
|
CollectWorker,
|
||||||
CollectTab,
|
CollectTab,
|
||||||
MainWindow,
|
MainWindow,
|
||||||
TAB_STYLE,
|
TAB_STYLE,
|
||||||
@@ -35,6 +36,7 @@ class GuiTests(TempDirMixin, unittest.TestCase):
|
|||||||
return {
|
return {
|
||||||
"chrome_path": "chrome.exe",
|
"chrome_path": "chrome.exe",
|
||||||
"user_data_root": os.path.join(temp_dir, "chrome_user_data_dir"),
|
"user_data_root": os.path.join(temp_dir, "chrome_user_data_dir"),
|
||||||
|
"image_dir": os.path.join(temp_dir, "images"),
|
||||||
"db_path": os.path.join(temp_dir, "cmshopee.db"),
|
"db_path": os.path.join(temp_dir, "cmshopee.db"),
|
||||||
"debug_port_range": [9222, 9260],
|
"debug_port_range": [9222, 9260],
|
||||||
}
|
}
|
||||||
@@ -303,6 +305,83 @@ class GuiTests(TempDirMixin, unittest.TestCase):
|
|||||||
|
|
||||||
self.assert_removed(temp_dir)
|
self.assert_removed(temp_dir)
|
||||||
|
|
||||||
|
def test_collect_worker_collects_success_and_skips_unmatched_or_logged_out(self):
|
||||||
|
with self.make_temp_dir() as temp_dir:
|
||||||
|
cfg = self.make_config(temp_dir)
|
||||||
|
logged = accounts.create_account("主店", "alias-a", debug_port=9222, config=cfg)
|
||||||
|
logged_out = accounts.create_account("副店", "alias-b", debug_port=9223, config=cfg)
|
||||||
|
batch_id = db.create_batch(["input.xlsx"], path=cfg["db_path"])
|
||||||
|
db.insert_tasks(
|
||||||
|
batch_id,
|
||||||
|
[
|
||||||
|
{
|
||||||
|
"source_file_abs": os.path.join(temp_dir, "input.xlsx"),
|
||||||
|
"source_sheet": "商品",
|
||||||
|
"source_row": 2,
|
||||||
|
"account_name": "Excel主店",
|
||||||
|
"alias": "alias-a",
|
||||||
|
"item_id": "51100639510",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"source_file_abs": os.path.join(temp_dir, "input.xlsx"),
|
||||||
|
"source_sheet": "商品",
|
||||||
|
"source_row": 3,
|
||||||
|
"account_name": "Excel副店",
|
||||||
|
"alias": "alias-b",
|
||||||
|
"item_id": "51100639511",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"source_file_abs": os.path.join(temp_dir, "input.xlsx"),
|
||||||
|
"source_sheet": "商品",
|
||||||
|
"source_row": 4,
|
||||||
|
"account_name": "Excel未知",
|
||||||
|
"alias": "missing",
|
||||||
|
"item_id": "51100639512",
|
||||||
|
},
|
||||||
|
],
|
||||||
|
path=cfg["db_path"],
|
||||||
|
)
|
||||||
|
tasks = db.list_tasks(batch_id=batch_id, path=cfg["db_path"])
|
||||||
|
|
||||||
|
def fake_login(account, path=None, config=None):
|
||||||
|
self.assertEqual(cfg["db_path"], path)
|
||||||
|
if account.alias == logged.alias:
|
||||||
|
return {"logged_in": True, "reason": None}
|
||||||
|
if account.alias == logged_out.alias:
|
||||||
|
return {"logged_in": False, "reason": "LOGIN_PAGE"}
|
||||||
|
raise AssertionError(account.alias)
|
||||||
|
|
||||||
|
def fake_collect(account, task):
|
||||||
|
self.assertEqual(logged.alias, account.alias)
|
||||||
|
self.assertEqual("51100639510", task["item_id"])
|
||||||
|
self.assertTrue(task["old_cover_path"].endswith(
|
||||||
|
os.path.join(logged.slug, "51100639510_old.jpg")
|
||||||
|
))
|
||||||
|
return {
|
||||||
|
"old_title": "旧标题",
|
||||||
|
"old_cover_path": task["old_cover_path"],
|
||||||
|
}
|
||||||
|
|
||||||
|
with mock.patch("app.gui.accounts.detect_login", side_effect=fake_login), \
|
||||||
|
mock.patch("app.gui.editor.collect", side_effect=fake_collect) as collect:
|
||||||
|
summary = CollectWorker(tasks, db_path=cfg["db_path"], config=cfg).execute()
|
||||||
|
|
||||||
|
self.assertEqual({"ok": True, "total": 3, "done": 3, "collected": 1, "skipped": 2, "failed": 0}, summary)
|
||||||
|
collect.assert_called_once()
|
||||||
|
updated = db.list_tasks(batch_id=batch_id, path=cfg["db_path"])
|
||||||
|
by_alias = {task.alias: task for task in updated}
|
||||||
|
self.assertEqual("collected", by_alias["alias-a"].stage)
|
||||||
|
self.assertEqual("success", by_alias["alias-a"].status)
|
||||||
|
self.assertEqual("旧标题", by_alias["alias-a"].old_title)
|
||||||
|
self.assertTrue(by_alias["alias-a"].old_cover_path.endswith("51100639510_old.jpg"))
|
||||||
|
self.assertEqual("imported", by_alias["alias-b"].stage)
|
||||||
|
self.assertEqual("skipped", by_alias["alias-b"].status)
|
||||||
|
self.assertIn("账号未登录", by_alias["alias-b"].last_error)
|
||||||
|
self.assertEqual("skipped", by_alias["missing"].status)
|
||||||
|
self.assertEqual("别名未匹配账号", by_alias["missing"].last_error)
|
||||||
|
|
||||||
|
self.assert_removed(temp_dir)
|
||||||
|
|
||||||
|
|
||||||
if __name__ == "__main__":
|
if __name__ == "__main__":
|
||||||
unittest.main()
|
unittest.main()
|
||||||
|
|||||||
Reference in New Issue
Block a user