 chengma
|
a9f22b9b0e
|
feat: 按创建人隔离采集采购任务 (#127)
|
2026-08-10 23:10:28 +08:00 |
|
|
chengma
|
518e6df349
|
feat: 统一蝦皮与顺运宝 PDD 关联入口 (#68)
|
2026-08-09 22:40:58 +08:00 |
|
|
chengmaandClaude Opus 5
|
edfe39cc35
|
feat: 蝦皮数据页分页与状态筛选 (#43)
导入真实样本后 /shopee 一次吐 3.4MB / 5195 行。但只加分页会把问题从
「5195 行糊在一起」变成「260 页里藏着 6 个」——那 6 个待补规格的商品
仍然找不到。所以分页和状态筛选一起做。
HTML 3.4MB → 16.7KB。
状态条显示全量而不是本页：「共 5195 个商品 · 第 1/260 页」。
显示「共 20 个商品」会让操作员以为总共就 20 个。筛选后显示筛选结果
总数：「待补规格：6 个商品」。
列表查询和 COUNT 共用同一套筛选条件拼装。分开写两份 WHERE，迟早
有天忘了给 COUNT 也加条件，页码算错而且没人发现（#19 踩过一次）。
page 越界兜到最后一页而不是显示空表格——空表格会让操作员以为数据没了。
总数为 0 时显示「第 1/1 页」，不出现「第 1/0 页」。
「待补规格」用 EXISTS 不用 JOIN+DISTINCT：一个商品有多个失败 SKU 时
JOIN 会出重复行，DISTINCT 又让 LIMIT/OFFSET 的行为难推理。
分页控件是 <a href> 纯 GET，浏览器前进后退和书签都正常。首末页用
<span class="disabled"> 禁用，语义上不再是链接，不只靠颜色区分。
这是全项目第一个分页页面，通用逻辑单独放 service/pagination.go 供
后面四页复用，规则写进 05 §3.2 而不是蝦皮页那一节（#34 踩过这个错）。
05 §3 的每页条数从「建议 50」改为「统一 20」并写明理由。
实现踩到 html/template 的 URL 上下文转义：夹在字面量 & 中间的动态内容
会被整体当成一个参数值转义，?/= 变成 %3F/%3D 让链接失效。改为在 Go 里
把整段 URL 拼好，模板作为单个 pipeline 输出，并加了回归测试。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-08 11:40:07 +08:00 |
|
|
chengmaandClaude Opus 5
|
64d5e74d0d
|
feat: 蝦皮数据页改为商品级列表与规格弹窗 (#41)
原来是 SKU 级一行，问题不在行数（6092→5195 只少 15%），在语义错了：
pdd_goods_url / pdd_goods_id 在 shopee_products 上，是商品级字段。
商品 24420648774 有 62 个 SKU，列表里 62 行显示同一个 PDD 链接，
将来双击任意一行编辑的也是同一个字段，操作员会以为改的是这一行。
加了两列，都是防止聚合后丢信息：
「SKU 数」—— 只显示颜色数和尺码数会严重误导。实测 602 个商品（11.6%）
的颜色数×尺码数大于实际 SKU 数，最悬殊的 26886533818 是 15×5=75 但
实际只有 28 个。蝦皮报表只含有销售成绩的 SKU，数据本来就不全。
「待补」—— 原来解析失败的行整行标黄，聚合成数量后这个信号会丢。
23 条失败分布在 6 个商品里，其中 4 个是「部分失败」：数字看着正常，
坏数据被吃掉，永远没人去补。现在待补>0 整行标黄。
颜色数/尺码数只统计 parse_ok=1，否则空值会被算进 DISTINCT 多出
一个「空颜色」。
弹窗只读，待补的行显示 spec_raw 原文——不显示的话人工不知道该填什么，
保留原文这个设计就白做了。复用 #18 的弹窗机制，app.js 未改动。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-08 11:12:25 +08:00 |
|
|
chengmaandClaude Opus 5
|
e29d6683ad
|
feat: 蝦皮 Excel 报表导入 (#38)
蝦皮数据模块此前整个是骨架，四个入口全返回 501，excelize 连依赖都没装。
本工单做导入和列表，Save/Delete/Collect 保持 501。
真实样本实测：5195 个商品 / 6092 个 SKU，23 行解析失败。
upsert 白名单式，pdd_goods_url / pdd_goods_id 既不在 INSERT 列清单里
也不在 DO UPDATE SET 里。报表没有这两列，写进去就是写空值——操作员
攒几周的 PDD 链接会被一次导入洗光，而且不报错，等到建采购任务才发现。
有独立测试守着：往 DO UPDATE SET 里加回这一行，测试立刻变红。
按 sheet 名字取「最佳表現商品」，不用第 0 个。工作簿有 5 个 sheet，
另外 4 个是广告报表，连 商品規格ID 列都没有；蝦皮调顺序时按下标
会静默导入一张完全不相干的表。
按列名找索引。40 列里 32 列是统计指标，蝦皮加一列所有列号就错位，
而且不报错——会把「點擊率」当成「商品規格」存进去。
规格解析三种格式：含【】53.4%、逗号+空格 26.4%、只有逗号 20.2%，
只认【】会漏掉 46.6%。括号不配对（21 行）和右半整个被【】包住（2 行）
一律判整体失败，不逐段硬凑——错法不统一，针对每种错法写规则等于在猜，
而且没有人工核对过的正确答案可验证。失败时 color/size/advice 必须全空，
原文存进 spec_raw 交人工补。
不写 DELETE + INSERT 的全量替换，将来手动新增的 SKU 会被删掉。
excelize v2.9.1 的 go 指令正好是 1.23.0，与项目固定版本一致。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-08 09:57:12 +08:00 |
|
|
chengmaandClaude Opus 5
|
eb8d357f5a
|
feat: PDD 商品页面 (#18)
打通 Client↔Admin 闭环的一环：录入 PDD 链接 → 创建采集任务 →
客户端领走去采 → 规格和价格显示在页面上。#16 写的 MarkCollecting 和
SoftDeletePddProduct 至此才有生产调用方。
链接解析严格、不做容错兜底：goods_id 上有 UNIQUE 约束，防重全靠它。
猜一个的话同一商品会存成好几行、采好几遍，规格映射还说不清指向哪一行。
短链一律拒绝，卡域名是为了拦"粘了淘宝链接"这种失误。
创建采集任务先占状态再建任务：MarkCollecting 只在 pending/failed 时成功，
同时充当"有没有人已经在采"的判断，与建任务在同一事务里，
所以并发点多次只会建出一个任务（实测 4 并发 → 1 条）。
submit.go 的 collectedData 增加 Dimensions —— 没有它就只能按 Go 的 map
遍历，而 map 无序，同一商品每次刷新"颜色/尺码"的先后都可能变。
顺带修 #16 一处缺陷：EnsurePddProduct 复活分支清空了 skus_json 却漏了
title，导致复活后状态显示"未采集"但标题还留着旧值。
审查打回一次：清理"PDD 链接唯一的录入口"这一过期说法（全库 5 处），
以及 shopee.go 里"空 → no_link"的过期 TODO —— no_link 已在 #16
从 CHECK 约束删除，照写会直接撞约束。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-07 11:27:06 +08:00 |
|
|
chengmaandClaude Opus 5
|
6ae768463f
|
feat: 实现客户端注册与任务领取接口
Admin 的第一个业务功能。选它打头是因为它是穿透所有层的最薄一条竖切
（HTTP → handler/api → service → repository → SQLite → handler/web → 页面），
一个工单把分层模式立起来，后面四个模块照抄；同时它是与 Client 联调的接口，
能解锁另一条并行的工作线。
实现
- POST /tasks/claim：注册 + 领取。注册就在这里做，没有单独的注册接口，
也没有心跳（理由见 docs/admin/04-client-api.md §3）
- 领取用条件更新 + 检查影响行数防并发，SQLite 没有 SELECT FOR UPDATE
- 客户端列表页：查询、按名称搜索、批量删除
- 在线状态是**算出来的**（last_seen_at 在 10 分钟内），数据库里没有该字段
- CSRF 中间件：双提交 Cookie，手写 82 行不引依赖。
**只挂页面路由**，/api/v1/client/* 不能加——Client 不是浏览器、没有 Cookie
- 14 个单元测试
修复一个真 bug：PRAGMA 必须写进 DSN
并发领取测试报 database is locked (SQLITE_BUSY)。根因是
PRAGMA busy_timeout 每连接生效，而 database/sql 是连接池——
db.Exec("PRAGMA ...") 只作用于当时那条连接，池子新开的连接没执行过。
单线程正常、一并发就炸。改成 DSN 传参后并发测试跑 20 次全过。
这个坑已写进 docs/admin/03-data-model.md §2.1。
与工单的两处差异
- 去掉 name_is_custom 列后，"人工改的名字不被覆盖"改用更简单的做法：
ON CONFLICT DO UPDATE SET 里不含 name，即只在首次注册时写入。
效果相同，零额外字段、零迁移。已同步 04 §3
- 验收项"不向 dry_run 客户端分配真实下单任务"**未实现**：
tasks 表没有字段标记任务是否需要真实下单。当前真实下单开关默认关闭、
MVP 全是演练模式，暂不出问题，但开真实下单前必须补该字段，需另开工单
已验证（Go 1.23.0）
- go vet / gofmt / go test 全过，并发测试重复 20 次稳定通过
- 端到端：无任务 claim 204；插入任务后 claim 200 且 payload 含
goods_url/goods_id/options/quantity/max_price_cent、无租约无 Admin 状态；
重复 claim 204；缺 X-Client-Id 400；POST 无 CSRF token 403；
列表页两台客户端在线状态与统计正确
说明：Gitea 尚未配置，本次无对应工单号。
submit_result / submit_failure 及其幂等处理留给下一个工单。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-06 16:56:18 +08:00 |
|
|
chengmaandClaude Opus 5
|
799ee33045
|
feat: 搭建 Admin 项目骨架（Go + Gin + html/template）
可运行的骨架：四个页面能打开、数据库自动建表、给 Client 的三个接口
按契约响应。业务逻辑留 35 处 TODO(骨架)，每处标明要点和文档章节。
结构（对应 docs/admin/02-architecture.md §2/§3）
- handler/web + handler/api 分开：页面要 CSRF、出错渲染错误页；
接口要认证、出错返回 JSON。混在一起迟早写错
- service 不认识 *gin.Context，方便不起服务器直接单测
- 只有 repository 能写 SQL
- 模板用 {{define "目录/名字"}}，一次全部 ParseFS 进来不冲突
- 模板和静态资源用 //go:embed 打进二进制
已实测（Go 1.23.0，本机验证）
- go build / go vet / gofmt 全部通过
- 单文件产物 34MB，无需 cgo
- 四个页面 + 静态资源均 200，/ 正确 302 到 /shopee
- 建表 7 张 + 索引 10 个，user_version=1，二次启动不重复建表
- claim 带 X-Client-Id 返回 204（无任务可领），
缺 X-Client-Id 返回 400 + 契约格式的 JSON 错误体
依赖版本被 Go 1.23.0 卡死，已钉住并写进文档
- gin v1.11.0 （v1.12.0 起要求 Go >= 1.25.0）
- modernc.org/sqlite v1.38.0（v1.40.0 起要求 >= 1.24.0，v1.48.0 起 >= 1.25.0）
- excelize v2.9.1 （尚未入 go.mod，写导入功能时再加）
直接 go get 不带版本会拉到最新版并报 requires go >= 1.25.0，
所以文档里的命令一律带版本号。要升依赖就得先升 Go。
一处主动调整：迁移语句从「一个字符串装多条 SQL」改成 [][]string 逐条执行。
database/sql 的 Exec 对一次多条语句的支持因驱动而异，拆开最稳妥，
报错还能精确到第几条。
说明：Gitea 尚未配置，本次无对应工单号。
admin/testdata/ 只有 README，脱敏小样本需人工制作。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-06 16:33:45 +08:00 |
|