feat: 顺运宝货运单同步 (#46)

顺运宝模块此前是骨架,「同步」点了提示"待接入"。5195 个蝦皮商品已经
进系统,但货运单(真实订单)一条都没有,后面的规格匹配无从谈起。

按接口契约(docs/admin/08,从 4 份 HAR 还原)实现:配置、登录(界面
手工输验证码)、会话缓存到 SQLite、按日期范围增量同步、落 syb_orders。

shopee_sku_id 绝不被同步覆盖。它是规格匹配的结果,顺运宝那边根本没有
这个值(只给 11 位商品ID,蝦皮規格ID 是 12 位)。同步写进去就是写空,
把人工攒的匹配成果洗掉且不报错。它只出现在 INSERT 列清单里,不在
DO UPDATE SET 里;repository 层和 service 端到端各有一个测试守着。

增量从「上次同步日期当天」重拉,不是第二天。created 筛选粒度是日期而
last_synced_at 精确到秒,从第二天拉会漏掉当天晚些时候创建的单且不报错。
宁可重复拉(upsert 幂等)也不能漏。中途失败不更新 last_synced_at,
否则下次跳过这段区间,漏的单永远补不回来。

日期运算用 UTC+8,不是 UTC。审查时从 HAR 确认 created 是当地时间:
抓包于 2026-07-28T03:31:45Z(= 11:31 UTC+8),同一响应里 created 是
"2026-07-28 10:37:59";若它是 UTC 则等于 18:37 UTC+8,比抓包晚 7 小时,
订单创建于未来,不成立。用 UTC 算会在本地 00:00-08:00 把"今天"算成昨天,
当天早晨的单这轮拉不到。用 time.FixedZone 写死,不用 LoadLocation——
那要读系统 tzdata,Windows 默认没有,打包成 exe 会失败。

金额一律取 detail/listByStock 的值:08 §5.1 实测同一响应里 amtOrder
在列表接口是分、escrowAmount 却不是,单位不统一,取错差 100 倍。

迁移 v5 纯追加(syb_session、syb_sync_state、syb_orders.product_spec),
v1-v4 逐字未动,CheckSchema 覆盖新表新列。

会话有效性判断把「网络故障」和「明确未登录」的分类集中在 Client.do()
一处——网络抖一下就判定登出的话,验证码会弹个不停,还会丢掉有效会话。

测试全部用 httptest 假服务端,不打真实站点。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
chengma
2026-08-09 11:49:13 +08:00
co-authored by Claude Opus 5
parent 7fb137f685
commit 5e426cacf6
22 changed files with 3659 additions and 49 deletions
+102
View File
@@ -6,10 +6,13 @@
package config
import (
"fmt"
"os"
"path/filepath"
"strings"
"time"
"github.com/goccy/go-yaml"
)
// OnlineThreshold 是判定客户端"在线"的时间窗:
@@ -78,3 +81,102 @@ func isTempBuild(exe string) bool {
// go run 的产物路径里通常带 go-build 字样
return strings.Contains(filepath.ToSlash(exe), "/go-build")
}
// ---------- 顺运宝配置(config.yaml) ----------
// SybConfig 是 config.yaml 里 `syb:` 一节,见 admin/config.example.yaml
// 和 docs/admin/08-顺运宝接口.md §8。
type SybConfig struct {
BaseURL string `yaml:"base_url"`
Username string `yaml:"username"`
Password string `yaml:"password"`
PageSize int `yaml:"page_size"`
MaxMatches int `yaml:"max_matches"`
SyncFrom string `yaml:"sync_from"`
}
// String 把密码打码,防止 %v、log.Printf("%+v", cfg) 这类写法
// 不小心把明文密码带进日志——日志可能被贴进工单排查问题。
//
// `[必须]` 这是 admin/AGENTS.md「日志、页面、导出里不得出现 token、密码、Cookie」
// 的从源头防护,不依赖每个调用方都记得手动打码。
func (c SybConfig) String() string {
pw := "(空)"
if c.Password != "" {
pw = "****"
}
return fmt.Sprintf(
"SybConfig{BaseURL:%s Username:%s Password:%s PageSize:%d MaxMatches:%d SyncFrom:%s}",
c.BaseURL, c.Username, pw, c.PageSize, c.MaxMatches, c.SyncFrom)
}
// Config 是 config.yaml 的顶层结构。目前只有顺运宝一节,
// 后续如果要给别的模块加配置,在这里加新的字段即可。
type Config struct {
Syb SybConfig `yaml:"syb"`
}
// configFileName 是 config.yaml 相对 exe(或 go run 时相对工作目录)的文件名。
// 和 admin/config.example.yaml 同一目录,方便操作员按提示复制。
const configFileName = "config.yaml"
// ConfigPath 返回 config.yaml 应该在的路径(不保证文件存在)。
//
// 路径规则和 DataDir 一致(exe 旁边;go run 时是当前工作目录),
// 因为 config.example.yaml 的说明就是"复制到 admin/ 目录",
// 和 data/ 同级。
func ConfigPath() (string, error) {
exe, err := os.Executable()
if err != nil {
return "", err
}
dir := filepath.Dir(exe)
if isTempBuild(exe) {
wd, err := os.Getwd()
if err != nil {
return "", err
}
dir = wd
}
return filepath.Join(dir, configFileName), nil
}
// Load 读取并解析 config.yaml。
//
// `[必须]` 文件不存在时给出「复制 config.example.yaml」的明确提示,
// 不是一句冷冰冰的「读取失败」——初级程序员第一次跑起来大概率会踩到这个。
func Load() (*Config, error) {
path, err := ConfigPath()
if err != nil {
return nil, fmt.Errorf("无法确定 config.yaml 应该在的位置: %w", err)
}
raw, err := os.ReadFile(path)
if err != nil {
if os.IsNotExist(err) {
return nil, missingConfigError(path)
}
return nil, fmt.Errorf("读取配置文件 %s 失败: %w", path, err)
}
return parseConfig(raw, path)
}
// missingConfigError 是缺文件时的提示,抽成函数是为了配置测试
// (config_test.go)能直接复用同一句提示,不用真的绕开 os.Executable。
func missingConfigError(path string) error {
return fmt.Errorf(
"没有找到配置文件 %s。\n"+
"请复制 config.example.yaml 为 config.yaml,并填入顺运宝账号密码:\n"+
" Windows: copy admin\\config.example.yaml admin\\config.yaml\n"+
" Linux: cp admin/config.example.yaml admin/config.yaml",
path)
}
// parseConfig 解析 YAML 内容,抽成函数同样是为了让测试不依赖 os.Executable。
func parseConfig(raw []byte, path string) (*Config, error) {
var cfg Config
if err := yaml.Unmarshal(raw, &cfg); err != nil {
return nil, fmt.Errorf("解析配置文件 %s 失败: %w", path, err)
}
return &cfg, nil
}