chengma/cmshoppe
2
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

feat: 完成Excel导入入库

Browse Source 
实现 app/excel.py 多文件导入，解析账号名、别名、商品id，记录 source_file_abs/source_sheet/source_row/row_key。

导入时支持缺必需列整文件拒绝、脏行逐行跳过统计，并写入 batches/tasks；补充 match_summary 与回写占位。

新增 tests/test_excel.py 覆盖入库、缺列拒绝、多文件容错和别名匹配；同步任务看板、API 合约、当前状态和 progress。
This commit is contained in:
chengma
2026-06-27 10:59:51 +08:00
parent aec00522ba
commit 893aa56881
6 changed files with 500 additions and 17 deletions
Download Patch File Download Diff File Expand all files Collapse all files
docs/06-tasks.md
+1 -1
View File
@@ -47,7 +47,7 @@
| ID | 任务 | 依赖 | 验收要点 | 状态 |
| --- | --- | --- | --- | --- |
| T-201 | `app/excel.py` 导入：解析多文件输入列入库 | T-003 | 按模板解析账号名/别名/商品id；记录 source_file_abs/source_sheet/source_row/row_key；缺必需列则拒绝整文件并记 file_errors；脏行逐行跳过计 invalid；写 batches/tasks | TODO |
| T-201 | `app/excel.py` 导入：解析多文件输入列入库 | T-003 | 按模板解析账号名/别名/商品id；记录 source_file_abs/source_sheet/source_row/row_key；缺必需列则拒绝整文件并记 file_errors；脏行逐行跳过计 invalid；写 batches/tasks | DONE |
| T-202 | Tab① 任务列表 + 导入按钮 + 别名匹配标记 | T-201, T-105 | `QTableView` 显示账号/别名/商品id/阶段；未匹配标“略过” | TODO |
| T-202b | Tab① 导入汇总栏 | T-202 | 导入后显示 文件数/解析行数/有效/无效/匹配(按账号)/未匹配；未匹配可点击筛出 | TODO |
| T-203 | 采集旧标题+旧封面（只读），下载图片，立即写库 | T-202, T-001, T-104b | 通过 worker 执行；逐条 set_collected；旧封面下载到 `images/<slug>/`；未登录/未匹配略过记原因 | TODO |
docs/api.md
+24 -8
View File
@@ -88,24 +88,40 @@ SQLite 连接规则：
- `connect()` 必须设置 `PRAGMA foreign_keys=ON`、`journal_mode=WAL`、`busy_timeout=5000`、`synchronous=NORMAL`。
- DB 写入短事务、单条提交；Excel 回写失败不回滚 DB。
## excel 模块（`app/excel.py`，待建，依赖 openpyxl）
## excel 模块（`app/excel.py`，导入已建；回写待 T-204/T-403，依赖 openpyxl）
```python
import_tasks(file_paths: list[str]) -> dict
# 只解析【输入列】：账号名、别名、商品id；并记录 source_file/source_file_abs/source_sheet/source_row/row_key
# -> {"rows": [...], "stats": {"files": int, "total": int, "valid": int, "invalid": int, "file_errors": [...]}}
# 必需列缺失（别名/商品id）= 整个文件拒绝并记录到 file_errors，不导入该文件任何行
# invalid = 单行缺别名/商品id 或商品id格式错误等脏数据；逐行跳过，不阻塞同文件其他有效行
class ExcelError(RuntimeError): ...
OPENPYXL_IMPORT_ERROR: Exception | None
import_tasks(file_paths, path=None, note=None, write_db=True) -> dict
# file_paths 可传单个路径或多个路径。
# 只解析【输入列】：账号名(可选)、别名、商品id；并记录
# source_file/source_file_abs/source_sheet/source_row/row_key。
# 默认 write_db=True：有有效行时创建 batch 并写入 tasks。
# -> {
# "batch_id": str|None,
# "rows": [...],
# "stats": {
# "files": int, "total": int, "valid": int, "invalid": int,
# "inserted": int, "file_errors": [...], "row_errors": [...]
# }
# }
# 必需列缺失（别名/商品id）= 整个文件拒绝并记录到 file_errors，不导入该文件任何行。
# invalid = 单行缺别名/商品id 或商品id 格式错误等脏数据；逐行跳过，不阻塞同文件其他有效行。
# openpyxl 缺失时模块仍可导入，调用 import_tasks 时抛 ExcelError。
match_summary(rows: list[dict], accounts: list) -> dict
# 用 accounts 的别名对 rows 做匹配统计（导入汇总栏用）
# -> {"matched": int, "unmatched": int, "by_account": {别名: 行数}, "unmatched_aliases": [..]}
write_back(batch_id, excel_path=None) -> dict
write_back(batch_id, excel_path=None, path=None) -> dict
# 把【旧标题/旧封面/新标题/新封面/更新状态】批量回写到【原 Excel】
# excel_path 为空则按 source_file_abs 分组回写本批次涉及的所有原文件
# 原文件被占用(锁) → 抛错，调用方提示“请关闭后重试”，或改用 export_copy
export_copy(batch_id, out_dir_or_path) -> dict # 退路：另存新结果文件，不动原文件
export_copy(batch_id, out_dir_or_path, path=None) -> dict
# 退路：另存新结果文件，不动原文件
# T-201 仅保证函数存在；实际回写/另存实现留给 T-204/T-403。
```
列模板见 [架构 5.3](04-architecture.md)；别名以“别名”列为权威。
docs/current-state.md
+11 -8
View File
@@ -6,10 +6,10 @@
## 当前快照
- 日期：2026-06-27
- 阶段：V0 单账号 CDP 流程已验证；V1 已完成 T-000 正式代码包结构、T-001 `app/editor.py` 模块化、T-002 `app/appconfig.py` 应用配置、T-003 SQLite 持久化地基、T-004 本地数据忽略规则、T-005 AI 模型清单后端、T-006 单元测试基座、T-101 账号 user-data-dir 工具、T-102 Chrome 启动器、T-103 登录保活与检测、T-104 PySide6 主窗口骨架、T-104b PySide6 worker 基座、T-105 Tab④ 账号管理、T-106 账号快捷方式。
- 阶段：V0 单账号 CDP 流程已验证；V1 已完成 T-000 正式代码包结构、T-001 `app/editor.py` 模块化、T-002 `app/appconfig.py` 应用配置、T-003 SQLite 持久化地基、T-004 本地数据忽略规则、T-005 AI 模型清单后端、T-006 单元测试基座、T-101 账号 user-data-dir 工具、T-102 Chrome 启动器、T-103 登录保活与检测、T-104 PySide6 主窗口骨架、T-104b PySide6 worker 基座、T-105 Tab④ 账号管理、T-106 账号快捷方式、T-201 Excel 导入入库。
- 技术栈：Python 3.10+，自研 CDP（websocket-client + requests），SQLite（sqlite3）+ `config.json` + openpyxl + AI（服务商待定），GUI PySide6 5 Tab（已定）。
- 生产代码：已建立 `app/` 包 + 根入口 `main.py`；`app/cdp.py` 为已验证 CDP 底座；`app/editor.py` 已封装登录状态检测、标题/封面/采集/更新按钮能力；`app/appconfig.py` 已实现 `config.json` 默认值/读写/更新、AI 参数与端口读取，以及 `config/ai_models.json` 模型清单 CRUD/过滤/打码/测试连接；`app/db.py` 已实现 SQLite schema、连接 PRAGMA、批次/账号/任务与阶段写库函数；`app/config.py` 已实现账号 slug 与 user-data-dir 创建；`app/accounts.py` 已实现账号 CRUD 服务、端口默认分配、启动登录、检测登录、生成快捷方式；`app/chrome.py` 已实现 Chrome 参数拼装、启动、CDP 端口探测、PowerShell `.lnk` 快捷方式生成；`app/gui.py` 已实现 PySide6 `MainWindow`、五 Tab、顶部 Tab 栏防误点样式、④ 账号管理表格/弹窗/按钮/快捷方式与状态栏；`app/workers.py` 已实现 `BaseWorker`、通用 signals、取消标记和 `QThread` 启动包装。
- 测试：`tests/` 已建立；T-006 后纯逻辑改动必须运行 `python -m unittest discover -s tests`，当前覆盖 appconfig/db/config/accounts/chrome 启动与快捷方式/editor 登录检测/gui 账号管理/worker signal 与线程包装，并对尚未实现的 app.excel/app.prompts 做契约占位 skip；CDP/Shopee 改动仍需测试商品手动验证。
- 生产代码：已建立 `app/` 包 + 根入口 `main.py`；`app/cdp.py` 为已验证 CDP 底座；`app/editor.py` 已封装登录状态检测、标题/封面/采集/更新按钮能力；`app/appconfig.py` 已实现 `config.json` 默认值/读写/更新、AI 参数与端口读取，以及 `config/ai_models.json` 模型清单 CRUD/过滤/打码/测试连接；`app/db.py` 已实现 SQLite schema、连接 PRAGMA、批次/账号/任务与阶段写库函数；`app/excel.py` 已实现多 Excel 输入列解析、整文件列校验、脏行统计跳过、导入批次与任务入库、别名匹配统计；`app/config.py` 已实现账号 slug 与 user-data-dir 创建；`app/accounts.py` 已实现账号 CRUD 服务、端口默认分配、启动登录、检测登录、生成快捷方式；`app/chrome.py` 已实现 Chrome 参数拼装、启动、CDP 端口探测、PowerShell `.lnk` 快捷方式生成；`app/gui.py` 已实现 PySide6 `MainWindow`、五 Tab、顶部 Tab 栏防误点样式、④ 账号管理表格/弹窗/按钮/快捷方式与状态栏；`app/workers.py` 已实现 `BaseWorker`、通用 signals、取消标记和 `QThread` 启动包装。
- 测试：`tests/` 已建立；T-006 后纯逻辑改动必须运行 `python -m unittest discover -s tests`，当前覆盖 appconfig/db/config/accounts/chrome 启动与快捷方式/editor 登录检测/excel 导入/gui 账号管理/worker signal 与线程包装，并对尚未实现的 app.prompts 做契约占位 skip；CDP/Shopee 改动仍需测试商品手动验证。
- 数据：`config.json`、`config/ai_models.json`、`cmshopee.db`、`chrome_user_data_dir/`、`images/` 已由 `.gitignore` 排除；`app/appconfig.py` 首次读取缺失的 `config.json` 时会在本地写默认配置，`app/db.py` 调用 `init_db()` 时会在本地创建 SQLite DB。
## 既定设计要点（文档已定）
@@ -40,8 +40,8 @@
| `app/db.py` | 已有 | T-003 产出：batches/accounts/tasks schema；WAL/busy_timeout/foreign_keys；账号/批次/任务与 set_* 阶段写库 |
| `app/config.py` | 已有 | T-101 产出：别名→稳定 slug；创建并返回绝对 user-data-dir |
| `app/chrome.py` | 已有 | T-102/T-106 产出：Chrome 启动参数、`subprocess.Popen` 启动、`/json/version` 端口探测、PowerShell `.lnk` 快捷方式 |
| `tests/` | 已有 | T-006 产出：stdlib unittest 基座；覆盖 appconfig/db/config/accounts/chrome/editor/gui/workers；excel/prompts 模块契约占位测试 |
| `app/excel.py` | 待建 | Phase 2 产出 |
| `tests/` | 已有 | T-006/T-201 产出：stdlib unittest 基座；覆盖 appconfig/db/config/accounts/chrome/editor/excel/gui/workers；prompts 模块契约占位测试 |
| `app/excel.py` | 已有 | T-201 产出：多文件 Excel 输入列解析、必需列整文件拒绝、脏行逐行跳过、批次/任务入库、匹配统计；回写留给 T-204/T-403 |
| `config.json` / `config/ai_models.json` / `cmshopee.db` / `chrome_user_data_dir/` / `images/` | 本地待建，已忽略 | 含配置、密钥、业务、登录态、图片，不提交版本库 |
## 已验证能力（单账号）
@@ -56,9 +56,9 @@
任务状态以 [`06-tasks.md`](06-tasks.md) 为准，历史记录见 [`../progress.md`](../progress.md)。
- 已完成：T-000（正式代码包结构）、T-001（`app/editor.py` 模块化）、T-002（`app/appconfig.py` + `config.json`）、T-003（`app/db.py` + SQLite 建表）、T-004（本地数据 gitignore）、T-005（AI 模型清单后端）、T-006（单元测试基座）、T-101（账号 slug/user-data-dir）、T-102（Chrome 启动器）、T-103（登录保活与检测）、T-104（PySide6 五 Tab 主窗口骨架）、T-104b（PySide6 worker 基座）、T-105（Tab④ 账号管理）、T-106（账号快捷方式）。
- 已完成：T-000（正式代码包结构）、T-001（`app/editor.py` 模块化）、T-002（`app/appconfig.py` + `config.json`）、T-003（`app/db.py` + SQLite 建表）、T-004（本地数据 gitignore）、T-005（AI 模型清单后端）、T-006（单元测试基座）、T-101（账号 slug/user-data-dir）、T-102（Chrome 启动器）、T-103（登录保活与检测）、T-104（PySide6 五 Tab 主窗口骨架）、T-104b（PySide6 worker 基座）、T-105（Tab④ 账号管理）、T-106（账号快捷方式）、T-201（Excel 导入：解析多文件输入列入库）。
- 正在进行：无。
- 下一个可领取任务：**T-201（`app/excel.py` 导入：解析多文件输入列入库）**。
- 下一个可领取任务：**T-202（Tab① 任务列表 + 导入按钮 + 别名匹配标记）**。
## 当前可运行内容
@@ -84,6 +84,9 @@ py -3 -c "import tempfile; from app import config; d=tempfile.TemporaryDirectory
# chrome 参数拼装 / 端口探测由 tests/test_chrome.py 覆盖
python -m unittest discover -s tests
# Excel 导入由 tests/test_excel.py 覆盖；默认 python 环境需可导入 openpyxl 才执行真实解析测试
python -m unittest discover -s tests -p "test_excel.py"
# GUI 骨架与 ④ 账号管理由 tests/test_gui.py 覆盖；worker 基座由 tests/test_workers.py 覆盖
# 默认 python 当前 PySide6=6.5.3，py -3 环境缺 PySide6 时相关测试会 skip
@@ -105,7 +108,7 @@ set UPDATE=1 && python prototypes/demo.py
前置条件：
- Chrome 已用某 user-data-dir 带 `--remote-debugging-port` + `--remote-allow-origins=*` 启动并登录 Shopee。
- 已 `pip install websocket-client requests`。
- 已 `pip install websocket-client requests`；Excel 导入还需要 `openpyxl`，默认 `python` 环境本轮已可执行真实解析测试，`py -3` 环境缺 openpyxl 时 `tests/test_excel.py` 会按设计跳过。
- PySide6 当前环境已可导入（验证版本 6.5.3）；GUI 实现固定使用 PySide6。
- 默认连 `127.0.0.1:9222`（开发期可用 `CDP_HOST` 指向 WSL 转发的 `192.168.0.224:9333`）。
- 本机 `python` 当前指向 `C:\Python37\python.exe`（3.7.9，isolated，不符合 Python 3.10+ 要求且 `python -m app` 不搜索当前目录）；开发/验证优先用 `py -3`（当前 3.14.4）或确认 `python` 已指向 3.10+。