Files
cmautobuy/admin/repository/client.go
T
chengmaandClaude Opus 5 7ad82b7795 feat: 实现结果提交接口与幂等处理
补齐 submit_result / submit_failure,Admin 侧的三个接口全部可用,
Client 的完整一圈(领取 → 执行 → 提交)现在能走通了。

实现
- 幂等:idempotency_keys 表。同键同内容返回上次的响应且不重复落库,
  同键不同内容返回 409。幂等记录与业务写入在**同一事务**,
  分开写的话业务成功但幂等没记上,重试会被重复处理
- 无条件接受(契约 §4.1,最容易写错的一条):
  任务已取消、已重派给别人,都照样接受结果——客户端中途不查任务状态,
  必然会提交"Admin 这边已经不要了"的结果,而它可能真的已经下过单,
  这些数据必须留痕
- 采集任务的结果落到商品级 shopee_products.pdd_data 并置 collected;
  失败则置 failed 并把原因写进 collect_error,操作员才看得见
- 失败状态映射:retry_wait→assigned,其余同名
- 三个接口都刷新 last_seen_at

新增 task_claims 表(migrations v2)
契约要求"只有从未分配给该客户端的任务才返回 403",但 assigned_client
只记当前归属,重派后就查不出原来那台领过——而契约又要求那种情况必须接受。
没有这张表这条规则根本没法判断。顺带得到一份审计记录。

修复第二个并发 bug:事务必须 BEGIN IMMEDIATE
并发提交报 SQLITE_BUSY。根因是 Go 的 db.Begin() 默认发 BEGIN DEFERRED,
事务开始时不拿写锁,多个事务各自先读再想升级成写就互相卡死,
这种情况 busy_timeout 救不了。DSN 加 _txlock=immediate 后事务一开始
就排队拿锁。实测 6 个并发事务:默认失败 5/6,加参数后 0/6。
已写进 docs/admin/03-data-model.md §2.1。

已验证(Go 1.23.0)
- 30 个单元测试全过,并发用例重复 20 次稳定通过
- 端到端:claim 200 → 提交 200 → 重复提交返回完全相同的响应 →
  同键不同内容 409 → 没领过的客户端 403 → 任务不存在 404 →
  缺 Idempotency-Key 400;库里 task=succeeded、幂等 1 条、领取历史 1 条

说明:Gitea 尚未配置,本次无对应工单号。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
2026-08-06 17:04:49 +08:00

122 lines
3.8 KiB
Go

package repository
import (
"database/sql"
"fmt"
"strings"
"cmautobuy/admin/model"
)
// UpsertClient 登记或更新一台客户端。
//
// 注意 name 的处理:**只在第一次注册时写入,之后不再更新**。
// 这样操作员在 Admin 界面上改成好记的名字后,客户端每次 claim
// 都不会把它覆盖回去。做法是 ON CONFLICT 的 DO UPDATE 里不含 name。
//
// name 为空时用 clientID 当显示名,保证列表里不出现空白行。
func UpsertClient(db *sql.DB, c model.Client) error {
if c.ClientID == "" {
return fmt.Errorf("client_id 不能为空")
}
name := c.Name
if name == "" {
name = c.ClientID
}
now := model.NowISO()
_, err := db.Exec(`
INSERT INTO clients (client_id, name, device_address, platform,
pdd_package, capabilities,
last_seen_at, created_at, updated_at)
VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?)
ON CONFLICT(client_id) DO UPDATE SET
device_address = excluded.device_address,
platform = excluded.platform,
pdd_package = excluded.pdd_package,
capabilities = excluded.capabilities,
last_seen_at = excluded.last_seen_at,
updated_at = excluded.updated_at`,
c.ClientID, name, c.DeviceAddress, c.Platform,
c.PddPackage, c.Capabilities, now, now, now)
if err != nil {
return fmt.Errorf("登记客户端 %s 失败: %w", c.ClientID, err)
}
return nil
}
// TouchClient 只刷新 last_seen_at。
//
// claim / result / failure 三个接口都要调。只在 claim 里调的话,
// 客户端执行长任务期间不调 claim,会被误判成离线。
func TouchClient(q Execer, clientID string) error {
now := model.NowISO()
_, err := q.Exec(
`UPDATE clients SET last_seen_at = ?, updated_at = ? WHERE client_id = ?`,
now, now, clientID)
if err != nil {
return fmt.Errorf("刷新客户端 %s 活动时间失败: %w", clientID, err)
}
return nil
}
// ListClients 按名称模糊查询客户端,keyword 为空时返回全部。
func ListClients(db *sql.DB, keyword string) ([]model.Client, error) {
query := `SELECT client_id, name, device_address, platform, pdd_package,
capabilities, last_seen_at, created_at, updated_at
FROM clients`
args := []any{}
if kw := strings.TrimSpace(keyword); kw != "" {
// 参数化查询,通配符拼在值里而不是 SQL 里
query += ` WHERE name LIKE ? OR client_id LIKE ?`
like := "%" + kw + "%"
args = append(args, like, like)
}
query += ` ORDER BY last_seen_at DESC, client_id`
rows, err := db.Query(query, args...)
if err != nil {
return nil, fmt.Errorf("查询客户端列表失败: %w", err)
}
defer rows.Close()
var out []model.Client
for rows.Next() {
var c model.Client
var name, addr, platform, pkg, caps sql.NullString
if err := rows.Scan(&c.ClientID, &name, &addr, &platform, &pkg,
&caps, &c.LastSeenAt, &c.CreatedAt, &c.UpdatedAt); err != nil {
return nil, fmt.Errorf("读取客户端行失败: %w", err)
}
c.Name = name.String
c.DeviceAddress = addr.String
c.Platform = platform.String
c.PddPackage = pkg.String
c.Capabilities = caps.String
out = append(out, c)
}
return out, rows.Err()
}
// DeleteClients 批量删除客户端。返回实际删除的条数。
func DeleteClients(db *sql.DB, clientIDs []string) (int64, error) {
if len(clientIDs) == 0 {
return 0, nil
}
// 占位符按数量生成,值仍然是参数化传入,不存在注入
placeholders := strings.TrimSuffix(strings.Repeat("?,", len(clientIDs)), ",")
args := make([]any, len(clientIDs))
for i, id := range clientIDs {
args[i] = id
}
res, err := db.Exec(
`DELETE FROM clients WHERE client_id IN (`+placeholders+`)`, args...)
if err != nil {
return 0, fmt.Errorf("删除客户端失败: %w", err)
}
return res.RowsAffected()
}