Files
cmautobuy/admin/handler/api/client_api.go
T
chengmaandClaude Opus 5 7ad82b7795 feat: 实现结果提交接口与幂等处理
补齐 submit_result / submit_failure,Admin 侧的三个接口全部可用,
Client 的完整一圈(领取 → 执行 → 提交)现在能走通了。

实现
- 幂等:idempotency_keys 表。同键同内容返回上次的响应且不重复落库,
  同键不同内容返回 409。幂等记录与业务写入在**同一事务**,
  分开写的话业务成功但幂等没记上,重试会被重复处理
- 无条件接受(契约 §4.1,最容易写错的一条):
  任务已取消、已重派给别人,都照样接受结果——客户端中途不查任务状态,
  必然会提交"Admin 这边已经不要了"的结果,而它可能真的已经下过单,
  这些数据必须留痕
- 采集任务的结果落到商品级 shopee_products.pdd_data 并置 collected;
  失败则置 failed 并把原因写进 collect_error,操作员才看得见
- 失败状态映射:retry_wait→assigned,其余同名
- 三个接口都刷新 last_seen_at

新增 task_claims 表(migrations v2)
契约要求"只有从未分配给该客户端的任务才返回 403",但 assigned_client
只记当前归属,重派后就查不出原来那台领过——而契约又要求那种情况必须接受。
没有这张表这条规则根本没法判断。顺带得到一份审计记录。

修复第二个并发 bug:事务必须 BEGIN IMMEDIATE
并发提交报 SQLITE_BUSY。根因是 Go 的 db.Begin() 默认发 BEGIN DEFERRED,
事务开始时不拿写锁,多个事务各自先读再想升级成写就互相卡死,
这种情况 busy_timeout 救不了。DSN 加 _txlock=immediate 后事务一开始
就排队拿锁。实测 6 个并发事务:默认失败 5/6,加参数后 0/6。
已写进 docs/admin/03-data-model.md §2.1。

已验证(Go 1.23.0)
- 30 个单元测试全过,并发用例重复 20 次稳定通过
- 端到端:claim 200 → 提交 200 → 重复提交返回完全相同的响应 →
  同键不同内容 409 → 没领过的客户端 403 → 任务不存在 404 →
  缺 Idempotency-Key 400;库里 task=succeeded、幂等 1 条、领取历史 1 条

说明:Gitea 尚未配置,本次无对应工单号。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
2026-08-06 17:04:49 +08:00

255 lines
8.4 KiB
Go
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
// Package api 是给 Client 用的 JSON 接口。
//
// **权威契约在 Client 那边**:docs/client/04-admin-api-contract.md。
// 本包只是实现,两边说法不一致时以 Client 契约为准,要改先走工单。
//
// 一共只有三个接口,**不得新增"让 Client 查询状态"类接口**,
// 也不得加回租约和心跳,理由见 docs/admin/04-client-api.md §1。
package api
import (
"database/sql"
"encoding/json"
"errors"
"io"
"log"
"net/http"
"github.com/gin-gonic/gin"
"cmautobuy/admin/model"
"cmautobuy/admin/service"
)
// Handler 持有接口共用的依赖。
type Handler struct {
db *sql.DB
}
// Register 挂上三个接口。
func Register(r *gin.Engine, db *sql.DB) {
h := &Handler{db: db}
g := r.Group("/api/v1/client")
{
g.POST("/tasks/claim", h.Claim)
g.POST("/tasks/:task_id/result", h.SubmitResult)
g.POST("/tasks/:task_id/failure", h.SubmitFailure)
}
}
// ClaimRequest 是领取任务的请求体。
// 字段对应 docs/client/04-admin-api-contract.md §5。
type ClaimRequest struct {
Client struct {
// Name 是对 Client 契约的一处小扩展,需联合评审确认。
// **要容忍它缺失**:没有就用 X-Client-Id 当显示名。
Name string `json:"name"`
} `json:"client"`
SupportedTypes []string `json:"supported_types"`
Device struct {
Address string `json:"address"`
Platform string `json:"platform"`
PddPackage string `json:"pdd_package"`
} `json:"device"`
Capabilities struct {
PurchaseMode string `json:"purchase_mode"`
SchemaVersions []int `json:"schema_versions"`
} `json:"capabilities"`
}
// Claim 领取一个任务。
//
// 处理顺序(见 docs/admin/04-client-api.md §2):
// 1. 先做客户端注册/更新——**注册就在这里做,没有单独的注册接口**;
// 2. 查 assigned_client = X-Client-Id 且 status = 'assigned' 的任务,取一条;
// 3. 没有返回 204 No Content(不是 200 加空对象);
// 4. 有就用条件更新把状态改成 claimed,检查影响行数防并发。
//
// 响应**不含租约**,也不含 Admin 侧状态。
func (h *Handler) Claim(c *gin.Context) {
clientID := c.GetHeader("X-Client-Id")
if clientID == "" {
apiError(c, http.StatusBadRequest, "MISSING_CLIENT_ID",
"缺少 X-Client-Id 请求头", false)
return
}
var req ClaimRequest
if err := c.ShouldBindJSON(&req); err != nil {
apiError(c, http.StatusBadRequest, "INVALID_BODY",
"请求体不是合法 JSON", false)
return
}
// 1. 注册/更新客户端。**注册就在这里做,没有单独的注册接口。**
// capabilities 原样存起来,将来查问题时能看到客户端当时声明了什么。
caps, _ := json.Marshal(req.Capabilities)
err := service.RegisterClient(h.db, model.Client{
ClientID: clientID,
Name: req.Client.Name, // 为空时 repository 会用 clientID 兜底
DeviceAddress: req.Device.Address,
Platform: req.Device.Platform,
PddPackage: req.Device.PddPackage,
Capabilities: string(caps),
})
if err != nil {
log.Printf("client_register_failed client_id=%s err=%v", clientID, err)
apiError(c, http.StatusInternalServerError, "CLIENT_REGISTER_FAILED",
"登记客户端失败", true)
return
}
// 2. 领取一个任务,只会拿到分配给这个客户端的
task, err := service.ClaimNextTask(h.db, clientID, req.SupportedTypes)
if err != nil {
log.Printf("task_claim_failed client_id=%s err=%v", clientID, err)
apiError(c, http.StatusInternalServerError, "TASK_CLAIM_FAILED",
"领取任务失败", true)
return
}
// 3. 没有可领的任务 -> 204 No Content,**不是 200 加空对象**。
// 新客户端第一次来必然走到这里(还没人给它分配),是正常的。
if task == nil {
c.Status(http.StatusNoContent)
return
}
log.Printf("task_claimed client_id=%s task_id=%s type=%s",
clientID, task.TaskID, task.TaskType)
c.JSON(http.StatusOK, gin.H{"task": taskPayload(task)})
}
// taskPayload 把任务转成契约里的响应结构。
//
// **不含租约,也不含 Admin 侧状态**——Client 不关心这些,
// 见 docs/client/04-admin-api-contract.md §5。
func taskPayload(t *model.Task) gin.H {
payload := gin.H{
"goods_url": t.PddGoodsURL,
}
if t.PddGoodsID != "" {
payload["goods_id"] = t.PddGoodsID
}
if t.PddOptions != "" {
// pdd_options 存的是 JSON 字符串,要还原成对象再嵌进去,
// 否则 Client 拿到的是一个字符串而不是 {"color":...}
var options map[string]any
if err := json.Unmarshal([]byte(t.PddOptions), &options); err == nil {
payload["options"] = options
}
}
// 采购任务必须带数量和价格上限,这是 Client 的价格保护
if t.Quantity > 0 {
payload["quantity"] = t.Quantity
}
if t.MaxPriceCent > 0 {
payload["max_price_cent"] = t.MaxPriceCent
}
return gin.H{
"id": t.TaskID,
"type": t.TaskType,
"version": t.Version,
"priority": t.Priority,
"payload": payload,
"created_at": t.CreatedAt,
"updated_at": t.UpdatedAt,
}
}
// SubmitResult 接收成功结果。
//
// **最容易写错的一条**(docs/admin/04-client-api.md §4.1):
// - 不得因为任务已取消而拒绝;
// - 不得因为任务已重派给别的客户端而拒绝;
// - 必须能接受同一任务来自多个客户端的多份结果;
// - 只有**从未领过**这个任务的客户端才返回 403。
//
// 原因见 service.SubmitResult 的注释。
func (h *Handler) SubmitResult(c *gin.Context) {
h.handleSubmit(c, service.SubmitResult, "task_result_received")
}
// SubmitFailure 接收失败或需人工处理的结果。
//
// Client 报告的 status 映射见 docs/admin/04-client-api.md §5。
// §4.1 的无条件接受规则同样适用。
func (h *Handler) SubmitFailure(c *gin.Context) {
h.handleSubmit(c, service.SubmitFailure, "task_failure_received")
}
// submitFunc 是两个提交接口共用的处理函数形状。
type submitFunc func(db *sql.DB, taskID, clientID, idemKey string, rawBody []byte) (string, error)
// handleSubmit 把两个提交接口共同的部分抽出来:
// 取参数、读原始请求体、调 service、把业务错误翻译成 HTTP 状态码。
func (h *Handler) handleSubmit(c *gin.Context, submit submitFunc, event string) {
taskID := c.Param("task_id")
clientID := c.GetHeader("X-Client-Id")
if clientID == "" {
apiError(c, http.StatusBadRequest, "MISSING_CLIENT_ID",
"缺少 X-Client-Id 请求头", false)
return
}
idemKey := c.GetHeader("Idempotency-Key")
if idemKey == "" {
apiError(c, http.StatusBadRequest, "MISSING_IDEMPOTENCY_KEY",
"缺少 Idempotency-Key 请求头", false)
return
}
// 读**原始字节**而不是解析后再序列化——幂等要比对请求内容的哈希,
// 重新序列化会因为字段顺序、空格不同而算出不一样的哈希。
rawBody, err := io.ReadAll(c.Request.Body)
if err != nil {
apiError(c, http.StatusBadRequest, "INVALID_BODY", "读取请求体失败", false)
return
}
respJSON, err := submit(h.db, taskID, clientID, idemKey, rawBody)
switch {
case err == nil:
log.Printf("%s client_id=%s task_id=%s", event, clientID, taskID)
c.Data(http.StatusOK, "application/json; charset=utf-8", []byte(respJSON))
case errors.Is(err, service.ErrTaskNotFound):
apiError(c, http.StatusNotFound, "TASK_NOT_FOUND",
"任务不存在", false)
case errors.Is(err, service.ErrNeverClaimed):
// 注意:只有**从没领过**才会走到这里。
// 任务已取消、已重派,都不会拒绝。
apiError(c, http.StatusForbidden, "TASK_NOT_ASSIGNED",
"该任务从未分配给这个客户端", false)
case errors.Is(err, service.ErrIdempotencyConflict):
apiError(c, http.StatusConflict, "IDEMPOTENCY_CONFLICT",
"相同幂等键提交了不同内容。内容变了应该用新的 attempt_id 生成新键", false)
default:
log.Printf("%s_failed client_id=%s task_id=%s err=%v", event, clientID, taskID, err)
apiError(c, http.StatusInternalServerError, "SUBMIT_FAILED",
"保存结果失败,请稍后重试", true)
}
}
// apiError 按契约格式返回错误。
//
// 接口出错返回 JSON,页面出错渲染错误页,两者不要混。
// 格式见 docs/client/04-admin-api-contract.md §3。
func apiError(c *gin.Context, status int, code, message string, retryable bool) {
c.JSON(status, gin.H{
"error": gin.H{
"code": code,
"message": message,
"retryable": retryable,
"request_id": c.GetHeader("X-Request-Id"),
"details": gin.H{},
},
})
}