feat: 顺运宝货运单同步 (#46)
顺运宝模块此前是骨架,「同步」点了提示"待接入"。5195 个蝦皮商品已经 进系统,但货运单(真实订单)一条都没有,后面的规格匹配无从谈起。 按接口契约(docs/admin/08,从 4 份 HAR 还原)实现:配置、登录(界面 手工输验证码)、会话缓存到 SQLite、按日期范围增量同步、落 syb_orders。 shopee_sku_id 绝不被同步覆盖。它是规格匹配的结果,顺运宝那边根本没有 这个值(只给 11 位商品ID,蝦皮規格ID 是 12 位)。同步写进去就是写空, 把人工攒的匹配成果洗掉且不报错。它只出现在 INSERT 列清单里,不在 DO UPDATE SET 里;repository 层和 service 端到端各有一个测试守着。 增量从「上次同步日期当天」重拉,不是第二天。created 筛选粒度是日期而 last_synced_at 精确到秒,从第二天拉会漏掉当天晚些时候创建的单且不报错。 宁可重复拉(upsert 幂等)也不能漏。中途失败不更新 last_synced_at, 否则下次跳过这段区间,漏的单永远补不回来。 日期运算用 UTC+8,不是 UTC。审查时从 HAR 确认 created 是当地时间: 抓包于 2026-07-28T03:31:45Z(= 11:31 UTC+8),同一响应里 created 是 "2026-07-28 10:37:59";若它是 UTC 则等于 18:37 UTC+8,比抓包晚 7 小时, 订单创建于未来,不成立。用 UTC 算会在本地 00:00-08:00 把"今天"算成昨天, 当天早晨的单这轮拉不到。用 time.FixedZone 写死,不用 LoadLocation—— 那要读系统 tzdata,Windows 默认没有,打包成 exe 会失败。 金额一律取 detail/listByStock 的值:08 §5.1 实测同一响应里 amtOrder 在列表接口是分、escrowAmount 却不是,单位不统一,取错差 100 倍。 迁移 v5 纯追加(syb_session、syb_sync_state、syb_orders.product_spec), v1-v4 逐字未动,CheckSchema 覆盖新表新列。 会话有效性判断把「网络故障」和「明确未登录」的分类集中在 Client.do() 一处——网络抖一下就判定登出的话,验证码会弹个不停,还会丢掉有效会话。 测试全部用 httptest 假服务端,不打真实站点。 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
+38
-3
@@ -264,7 +264,7 @@ var migrations = [][]string{
|
||||
// 背景见 #20:v1 曾经被原地改写而不是新增版本,导致已经建过库的机器
|
||||
// (user_version 已经越过 v1)永远不会重跑改写后的语句,程序拿着一个
|
||||
// 和代码对不上的库静默启动。
|
||||
const schemaVersion = 4
|
||||
const schemaVersion = 5
|
||||
|
||||
// migrationV4 给 PDD 商品增加店铺名。
|
||||
//
|
||||
@@ -275,6 +275,31 @@ var migrationV4 = []string{
|
||||
`ALTER TABLE pdd_products ADD COLUMN shop_name TEXT;`,
|
||||
}
|
||||
|
||||
// migrationV5 是工单 #46(顺运宝货运单同步)需要的三样东西:
|
||||
// 会话缓存表、同步进度表、给 syb_orders 补一列规格原文。
|
||||
//
|
||||
// `[必须]` 三条都是新增(新表或 ADD COLUMN),不改动任何已发布的列/表,
|
||||
// 见 admin/AGENTS.md「迁移只追加」。
|
||||
var migrationV5 = []string{
|
||||
// 会话缓存。只存 Cookie 就够——08 §3.1 已确认 JWT 从不参与后续请求认证,
|
||||
// 缓存 token 没有意义,缓存 Cookie 才能免登录。
|
||||
`CREATE TABLE syb_session (
|
||||
username TEXT PRIMARY KEY,
|
||||
cookies TEXT NOT NULL, -- JSON 数组
|
||||
expires_at TEXT NOT NULL, -- min(JWT exp, 24h)
|
||||
updated_at TEXT NOT NULL
|
||||
);`,
|
||||
// 上次同步到哪。只允许一行(CHECK id = 1),increment 同步靠它算日期范围。
|
||||
`CREATE TABLE syb_sync_state (
|
||||
id INTEGER PRIMARY KEY CHECK (id = 1),
|
||||
last_synced_at TEXT,
|
||||
updated_at TEXT NOT NULL
|
||||
);`,
|
||||
// 规格原文。匹配要用它,放列里才能查、才能在界面显示,
|
||||
// 对应 shopee_skus.spec_raw,两边同一个概念。
|
||||
`ALTER TABLE syb_orders ADD COLUMN product_spec TEXT;`,
|
||||
}
|
||||
|
||||
// Migrate 把数据库升到最新版本。
|
||||
// 已经是最新的就什么都不做,可以重复调用。
|
||||
func Migrate(db *sql.DB) error {
|
||||
@@ -332,6 +357,13 @@ func Migrate(db *sql.DB) error {
|
||||
}
|
||||
}
|
||||
|
||||
// v5 同理,是普通的建表 + 追加列迁移,排在 v4 后面执行。
|
||||
if reached < 5 {
|
||||
if err := runSQLMigration(db, 5, migrationV5); err != nil {
|
||||
return err
|
||||
}
|
||||
}
|
||||
|
||||
return nil
|
||||
}
|
||||
|
||||
@@ -790,13 +822,16 @@ var requiredTables = []string{
|
||||
"shopee_products", "shopee_skus", "pdd_products",
|
||||
"syb_orders", "sku_mappings", "tasks", "clients",
|
||||
"idempotency_keys", "task_claims",
|
||||
"syb_session", "syb_sync_state",
|
||||
}
|
||||
|
||||
// requiredColumns 只列出不能靠“表存在”发现的关键追加列。
|
||||
// shop_name 是 v4 新增列;缺少它时查询 PDD 页面会直接失败,因此启动时
|
||||
// 就应给出明确错误,而不是等操作员点到页面才暴露。
|
||||
// shop_name 是 v4 新增列;product_spec 是 v5 新增列——两者缺失时
|
||||
// 查询对应页面会直接失败,因此启动时就应给出明确错误,
|
||||
// 而不是等操作员点到页面才暴露。
|
||||
var requiredColumns = map[string][]string{
|
||||
"pdd_products": {"shop_name"},
|
||||
"syb_orders": {"product_spec"},
|
||||
}
|
||||
|
||||
// CheckSchema 在 Migrate 成功后调用,确认代码依赖的表都在。
|
||||
|
||||
Reference in New Issue
Block a user