feat: 顺运宝货运单同步 (#46)

顺运宝模块此前是骨架,「同步」点了提示"待接入"。5195 个蝦皮商品已经
进系统,但货运单(真实订单)一条都没有,后面的规格匹配无从谈起。

按接口契约(docs/admin/08,从 4 份 HAR 还原)实现:配置、登录(界面
手工输验证码)、会话缓存到 SQLite、按日期范围增量同步、落 syb_orders。

shopee_sku_id 绝不被同步覆盖。它是规格匹配的结果,顺运宝那边根本没有
这个值(只给 11 位商品ID,蝦皮規格ID 是 12 位)。同步写进去就是写空,
把人工攒的匹配成果洗掉且不报错。它只出现在 INSERT 列清单里,不在
DO UPDATE SET 里;repository 层和 service 端到端各有一个测试守着。

增量从「上次同步日期当天」重拉,不是第二天。created 筛选粒度是日期而
last_synced_at 精确到秒,从第二天拉会漏掉当天晚些时候创建的单且不报错。
宁可重复拉(upsert 幂等)也不能漏。中途失败不更新 last_synced_at,
否则下次跳过这段区间,漏的单永远补不回来。

日期运算用 UTC+8,不是 UTC。审查时从 HAR 确认 created 是当地时间:
抓包于 2026-07-28T03:31:45Z(= 11:31 UTC+8),同一响应里 created 是
"2026-07-28 10:37:59";若它是 UTC 则等于 18:37 UTC+8,比抓包晚 7 小时,
订单创建于未来,不成立。用 UTC 算会在本地 00:00-08:00 把"今天"算成昨天,
当天早晨的单这轮拉不到。用 time.FixedZone 写死,不用 LoadLocation——
那要读系统 tzdata,Windows 默认没有,打包成 exe 会失败。

金额一律取 detail/listByStock 的值:08 §5.1 实测同一响应里 amtOrder
在列表接口是分、escrowAmount 却不是,单位不统一,取错差 100 倍。

迁移 v5 纯追加(syb_session、syb_sync_state、syb_orders.product_spec),
v1-v4 逐字未动,CheckSchema 覆盖新表新列。

会话有效性判断把「网络故障」和「明确未登录」的分类集中在 Client.do()
一处——网络抖一下就判定登出的话,验证码会弹个不停,还会丢掉有效会话。

测试全部用 httptest 假服务端,不打真实站点。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
chengma
2026-08-09 11:49:13 +08:00
co-authored by Claude Opus 5
parent 7fb137f685
commit 5e426cacf6
22 changed files with 3659 additions and 49 deletions
+38 -3
View File
@@ -264,7 +264,7 @@ var migrations = [][]string{
// 背景见 #20:v1 曾经被原地改写而不是新增版本,导致已经建过库的机器
// (user_version 已经越过 v1)永远不会重跑改写后的语句,程序拿着一个
// 和代码对不上的库静默启动。
const schemaVersion = 4
const schemaVersion = 5
// migrationV4 给 PDD 商品增加店铺名。
//
@@ -275,6 +275,31 @@ var migrationV4 = []string{
`ALTER TABLE pdd_products ADD COLUMN shop_name TEXT;`,
}
// migrationV5 是工单 #46(顺运宝货运单同步)需要的三样东西:
// 会话缓存表、同步进度表、给 syb_orders 补一列规格原文。
//
// `[必须]` 三条都是新增(新表或 ADD COLUMN),不改动任何已发布的列/表,
// 见 admin/AGENTS.md「迁移只追加」。
var migrationV5 = []string{
// 会话缓存。只存 Cookie 就够——08 §3.1 已确认 JWT 从不参与后续请求认证,
// 缓存 token 没有意义,缓存 Cookie 才能免登录。
`CREATE TABLE syb_session (
username TEXT PRIMARY KEY,
cookies TEXT NOT NULL, -- JSON 数组
expires_at TEXT NOT NULL, -- min(JWT exp, 24h)
updated_at TEXT NOT NULL
);`,
// 上次同步到哪。只允许一行(CHECK id = 1),increment 同步靠它算日期范围。
`CREATE TABLE syb_sync_state (
id INTEGER PRIMARY KEY CHECK (id = 1),
last_synced_at TEXT,
updated_at TEXT NOT NULL
);`,
// 规格原文。匹配要用它,放列里才能查、才能在界面显示,
// 对应 shopee_skus.spec_raw,两边同一个概念。
`ALTER TABLE syb_orders ADD COLUMN product_spec TEXT;`,
}
// Migrate 把数据库升到最新版本。
// 已经是最新的就什么都不做,可以重复调用。
func Migrate(db *sql.DB) error {
@@ -332,6 +357,13 @@ func Migrate(db *sql.DB) error {
}
}
// v5 同理,是普通的建表 + 追加列迁移,排在 v4 后面执行。
if reached < 5 {
if err := runSQLMigration(db, 5, migrationV5); err != nil {
return err
}
}
return nil
}
@@ -790,13 +822,16 @@ var requiredTables = []string{
"shopee_products", "shopee_skus", "pdd_products",
"syb_orders", "sku_mappings", "tasks", "clients",
"idempotency_keys", "task_claims",
"syb_session", "syb_sync_state",
}
// requiredColumns 只列出不能靠“表存在”发现的关键追加列。
// shop_name 是 v4 新增列;缺少它时查询 PDD 页面会直接失败,因此启动时
// 就应给出明确错误,而不是等操作员点到页面才暴露。
// shop_name 是 v4 新增列;product_spec 是 v5 新增列——两者缺失时
// 查询对应页面会直接失败,因此启动时就应给出明确错误,
// 而不是等操作员点到页面才暴露。
var requiredColumns = map[string][]string{
"pdd_products": {"shop_name"},
"syb_orders": {"product_spec"},
}
// CheckSchema 在 Migrate 成功后调用,确认代码依赖的表都在。