feat: 实现客户端注册与任务领取接口
Admin 的第一个业务功能。选它打头是因为它是穿透所有层的最薄一条竖切
(HTTP → handler/api → service → repository → SQLite → handler/web → 页面),
一个工单把分层模式立起来,后面四个模块照抄;同时它是与 Client 联调的接口,
能解锁另一条并行的工作线。
实现
- POST /tasks/claim:注册 + 领取。注册就在这里做,没有单独的注册接口,
也没有心跳(理由见 docs/admin/04-client-api.md §3)
- 领取用条件更新 + 检查影响行数防并发,SQLite 没有 SELECT FOR UPDATE
- 客户端列表页:查询、按名称搜索、批量删除
- 在线状态是**算出来的**(last_seen_at 在 10 分钟内),数据库里没有该字段
- CSRF 中间件:双提交 Cookie,手写 82 行不引依赖。
**只挂页面路由**,/api/v1/client/* 不能加——Client 不是浏览器、没有 Cookie
- 14 个单元测试
修复一个真 bug:PRAGMA 必须写进 DSN
并发领取测试报 database is locked (SQLITE_BUSY)。根因是
PRAGMA busy_timeout 每连接生效,而 database/sql 是连接池——
db.Exec("PRAGMA ...") 只作用于当时那条连接,池子新开的连接没执行过。
单线程正常、一并发就炸。改成 DSN 传参后并发测试跑 20 次全过。
这个坑已写进 docs/admin/03-data-model.md §2.1。
与工单的两处差异
- 去掉 name_is_custom 列后,"人工改的名字不被覆盖"改用更简单的做法:
ON CONFLICT DO UPDATE SET 里不含 name,即只在首次注册时写入。
效果相同,零额外字段、零迁移。已同步 04 §3
- 验收项"不向 dry_run 客户端分配真实下单任务"**未实现**:
tasks 表没有字段标记任务是否需要真实下单。当前真实下单开关默认关闭、
MVP 全是演练模式,暂不出问题,但开真实下单前必须补该字段,需另开工单
已验证(Go 1.23.0)
- go vet / gofmt / go test 全过,并发测试重复 20 次稳定通过
- 端到端:无任务 claim 204;插入任务后 claim 200 且 payload 含
goods_url/goods_id/options/quantity/max_price_cent、无租约无 Admin 状态;
重复 claim 204;缺 X-Client-Id 400;POST 无 CSRF token 403;
列表页两台客户端在线状态与统计正确
说明:Gitea 尚未配置,本次无对应工单号。
submit_result / submit_failure 及其幂等处理留给下一个工单。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
@@ -9,8 +9,17 @@ import (
|
|||||||
"os"
|
"os"
|
||||||
"path/filepath"
|
"path/filepath"
|
||||||
"strings"
|
"strings"
|
||||||
|
"time"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
// OnlineThreshold 是判定客户端"在线"的时间窗:
|
||||||
|
// 最近一次调接口在这个时间之内就算在线,否则离线。
|
||||||
|
//
|
||||||
|
// 取值要**宽松**:客户端执行长任务期间不会调 claim,
|
||||||
|
// 太短会被误判成离线。取「轮询周期 + 最长任务时长」量级。
|
||||||
|
// 本项目有意不做心跳,见 docs/admin/04-client-api.md §3。
|
||||||
|
const OnlineThreshold = 10 * time.Minute
|
||||||
|
|
||||||
// DataDir 返回可写数据目录,不存在就创建。
|
// DataDir 返回可写数据目录,不存在就创建。
|
||||||
//
|
//
|
||||||
// 打包成 exe 后 = exe 旁边的 data/
|
// 打包成 exe 后 = exe 旁边的 data/
|
||||||
|
|||||||
@@ -9,9 +9,14 @@ package api
|
|||||||
|
|
||||||
import (
|
import (
|
||||||
"database/sql"
|
"database/sql"
|
||||||
|
"encoding/json"
|
||||||
|
"log"
|
||||||
"net/http"
|
"net/http"
|
||||||
|
|
||||||
"github.com/gin-gonic/gin"
|
"github.com/gin-gonic/gin"
|
||||||
|
|
||||||
|
"cmautobuy/admin/model"
|
||||||
|
"cmautobuy/admin/service"
|
||||||
)
|
)
|
||||||
|
|
||||||
// Handler 持有接口共用的依赖。
|
// Handler 持有接口共用的依赖。
|
||||||
@@ -75,17 +80,81 @@ func (h *Handler) Claim(c *gin.Context) {
|
|||||||
return
|
return
|
||||||
}
|
}
|
||||||
|
|
||||||
// TODO(骨架): 1. service.RegisterClient(h.db, clientID, req)
|
// 1. 注册/更新客户端。**注册就在这里做,没有单独的注册接口。**
|
||||||
// 新 client_id 就新增,已有就更新 device/capabilities/last_seen_at。
|
// capabilities 原样存起来,将来查问题时能看到客户端当时声明了什么。
|
||||||
// name 若已被人工改过,不要覆盖。
|
caps, _ := json.Marshal(req.Capabilities)
|
||||||
|
err := service.RegisterClient(h.db, model.Client{
|
||||||
|
ClientID: clientID,
|
||||||
|
Name: req.Client.Name, // 为空时 repository 会用 clientID 兜底
|
||||||
|
DeviceAddress: req.Device.Address,
|
||||||
|
Platform: req.Device.Platform,
|
||||||
|
PddPackage: req.Device.PddPackage,
|
||||||
|
Capabilities: string(caps),
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
log.Printf("client_register_failed client_id=%s err=%v", clientID, err)
|
||||||
|
apiError(c, http.StatusInternalServerError, "CLIENT_REGISTER_FAILED",
|
||||||
|
"登记客户端失败", true)
|
||||||
|
return
|
||||||
|
}
|
||||||
|
|
||||||
// TODO(骨架): 2. service.ClaimNextTask(h.db, clientID)
|
// 2. 领取一个任务,只会拿到分配给这个客户端的
|
||||||
// 只返回分配给这个客户端的任务,一次一条。
|
task, err := service.ClaimNextTask(h.db, clientID, req.SupportedTypes)
|
||||||
// UPDATE ... WHERE task_id = ? AND status = 'assigned'
|
if err != nil {
|
||||||
// 检查影响行数,为 0 说明被抢先了,取下一条。
|
log.Printf("task_claim_failed client_id=%s err=%v", clientID, err)
|
||||||
|
apiError(c, http.StatusInternalServerError, "TASK_CLAIM_FAILED",
|
||||||
|
"领取任务失败", true)
|
||||||
|
return
|
||||||
|
}
|
||||||
|
|
||||||
// 新客户端第一次来必然拿不到任务(还没人给它分配),返回 204 是正常的。
|
// 3. 没有可领的任务 -> 204 No Content,**不是 200 加空对象**。
|
||||||
|
// 新客户端第一次来必然走到这里(还没人给它分配),是正常的。
|
||||||
|
if task == nil {
|
||||||
c.Status(http.StatusNoContent)
|
c.Status(http.StatusNoContent)
|
||||||
|
return
|
||||||
|
}
|
||||||
|
|
||||||
|
log.Printf("task_claimed client_id=%s task_id=%s type=%s",
|
||||||
|
clientID, task.TaskID, task.TaskType)
|
||||||
|
c.JSON(http.StatusOK, gin.H{"task": taskPayload(task)})
|
||||||
|
}
|
||||||
|
|
||||||
|
// taskPayload 把任务转成契约里的响应结构。
|
||||||
|
//
|
||||||
|
// **不含租约,也不含 Admin 侧状态**——Client 不关心这些,
|
||||||
|
// 见 docs/client/04-admin-api-contract.md §5。
|
||||||
|
func taskPayload(t *model.Task) gin.H {
|
||||||
|
payload := gin.H{
|
||||||
|
"goods_url": t.PddGoodsURL,
|
||||||
|
}
|
||||||
|
if t.PddGoodsID != "" {
|
||||||
|
payload["goods_id"] = t.PddGoodsID
|
||||||
|
}
|
||||||
|
if t.PddOptions != "" {
|
||||||
|
// pdd_options 存的是 JSON 字符串,要还原成对象再嵌进去,
|
||||||
|
// 否则 Client 拿到的是一个字符串而不是 {"color":...}
|
||||||
|
var options map[string]any
|
||||||
|
if err := json.Unmarshal([]byte(t.PddOptions), &options); err == nil {
|
||||||
|
payload["options"] = options
|
||||||
|
}
|
||||||
|
}
|
||||||
|
// 采购任务必须带数量和价格上限,这是 Client 的价格保护
|
||||||
|
if t.Quantity > 0 {
|
||||||
|
payload["quantity"] = t.Quantity
|
||||||
|
}
|
||||||
|
if t.MaxPriceCent > 0 {
|
||||||
|
payload["max_price_cent"] = t.MaxPriceCent
|
||||||
|
}
|
||||||
|
|
||||||
|
return gin.H{
|
||||||
|
"id": t.TaskID,
|
||||||
|
"type": t.TaskType,
|
||||||
|
"version": t.Version,
|
||||||
|
"priority": t.Priority,
|
||||||
|
"payload": payload,
|
||||||
|
"created_at": t.CreatedAt,
|
||||||
|
"updated_at": t.UpdatedAt,
|
||||||
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
// SubmitResult 接收成功结果。
|
// SubmitResult 接收成功结果。
|
||||||
|
|||||||
@@ -0,0 +1,92 @@
|
|||||||
|
package web
|
||||||
|
|
||||||
|
import (
|
||||||
|
"crypto/rand"
|
||||||
|
"crypto/subtle"
|
||||||
|
"encoding/base64"
|
||||||
|
"net/http"
|
||||||
|
|
||||||
|
"github.com/gin-gonic/gin"
|
||||||
|
)
|
||||||
|
|
||||||
|
// CSRF 防护,用的是「双提交 Cookie」这个最简单的方案:
|
||||||
|
//
|
||||||
|
// 1. 给浏览器种一个随机 token 的 Cookie;
|
||||||
|
// 2. 每个表单里带一个同值的隐藏字段;
|
||||||
|
// 3. 提交时比对两者,不一致就拒绝。
|
||||||
|
//
|
||||||
|
// 原理:攻击者的页面可以诱导浏览器带上 Cookie 发请求,
|
||||||
|
// 但**读不到** Cookie 的值,所以拼不出正确的隐藏字段。
|
||||||
|
//
|
||||||
|
// 没有引第三方库,是因为这个方案本身就几十行,
|
||||||
|
// 而且多一个依赖就多一个可能要求 Go >= 1.25 的风险。
|
||||||
|
//
|
||||||
|
// **只给页面路由用。** 给 Client 的 /api/v1/client/* 绝不能加——
|
||||||
|
// 它不是浏览器、没有 Cookie,加了会直接把它挡在门外。
|
||||||
|
const (
|
||||||
|
csrfCookieName = "cmautobuy_csrf"
|
||||||
|
csrfFieldName = "csrf_token"
|
||||||
|
csrfTokenBytes = 32
|
||||||
|
)
|
||||||
|
|
||||||
|
// CSRFMiddleware 返回 Gin 中间件。
|
||||||
|
//
|
||||||
|
// GET 等安全方法只负责发 token;POST 等写操作要校验。
|
||||||
|
func CSRFMiddleware() gin.HandlerFunc {
|
||||||
|
return func(c *gin.Context) {
|
||||||
|
token, err := c.Cookie(csrfCookieName)
|
||||||
|
if err != nil || token == "" {
|
||||||
|
token, err = newCSRFToken()
|
||||||
|
if err != nil {
|
||||||
|
c.AbortWithStatus(http.StatusInternalServerError)
|
||||||
|
return
|
||||||
|
}
|
||||||
|
// HttpOnly 必须为 false —— 双提交方案要让页面把值填进表单。
|
||||||
|
// 本项目只监听本机,Secure 先留 false,将来上 HTTPS 再打开。
|
||||||
|
c.SetCookie(csrfCookieName, token, 12*3600, "/", "", false, false)
|
||||||
|
}
|
||||||
|
// 交给模板渲染成隐藏字段
|
||||||
|
c.Set(csrfFieldName, token)
|
||||||
|
|
||||||
|
switch c.Request.Method {
|
||||||
|
case http.MethodGet, http.MethodHead, http.MethodOptions:
|
||||||
|
c.Next()
|
||||||
|
return
|
||||||
|
}
|
||||||
|
|
||||||
|
submitted := c.PostForm(csrfFieldName)
|
||||||
|
if submitted == "" {
|
||||||
|
submitted = c.GetHeader("X-CSRF-Token")
|
||||||
|
}
|
||||||
|
// 用常数时间比较,避免通过响应快慢猜 token
|
||||||
|
if subtle.ConstantTimeCompare([]byte(submitted), []byte(token)) != 1 {
|
||||||
|
c.HTML(http.StatusForbidden, "partials/error", gin.H{
|
||||||
|
"Title": "请求被拒绝",
|
||||||
|
"Message": "表单校验失败(CSRF token 不匹配)。" +
|
||||||
|
"通常是页面开太久过期了,返回上一页刷新后重试即可。",
|
||||||
|
})
|
||||||
|
c.Abort()
|
||||||
|
return
|
||||||
|
}
|
||||||
|
c.Next()
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// newCSRFToken 生成一个随机 token。
|
||||||
|
func newCSRFToken() (string, error) {
|
||||||
|
buf := make([]byte, csrfTokenBytes)
|
||||||
|
if _, err := rand.Read(buf); err != nil {
|
||||||
|
return "", err
|
||||||
|
}
|
||||||
|
return base64.RawURLEncoding.EncodeToString(buf), nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// csrfToken 从上下文取出当前 token,供页面渲染隐藏字段。
|
||||||
|
func csrfToken(c *gin.Context) string {
|
||||||
|
if v, ok := c.Get(csrfFieldName); ok {
|
||||||
|
if s, ok := v.(string); ok {
|
||||||
|
return s
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return ""
|
||||||
|
}
|
||||||
@@ -1,9 +1,13 @@
|
|||||||
package web
|
package web
|
||||||
|
|
||||||
import (
|
import (
|
||||||
|
"fmt"
|
||||||
|
"log"
|
||||||
"net/http"
|
"net/http"
|
||||||
|
|
||||||
"github.com/gin-gonic/gin"
|
"github.com/gin-gonic/gin"
|
||||||
|
|
||||||
|
"cmautobuy/admin/service"
|
||||||
)
|
)
|
||||||
|
|
||||||
// ---------- 2. 顺运宝数据 ----------
|
// ---------- 2. 顺运宝数据 ----------
|
||||||
@@ -16,7 +20,7 @@ func (h *Handler) SybList(c *gin.Context) {
|
|||||||
// TODO(骨架): 查货运单,并左联 sku_mappings 得出匹配状态
|
// TODO(骨架): 查货运单,并左联 sku_mappings 得出匹配状态
|
||||||
var rows []gin.H
|
var rows []gin.H
|
||||||
|
|
||||||
c.HTML(http.StatusOK, "syb/list", page("syb", "顺运宝数据", gin.H{
|
c.HTML(http.StatusOK, "syb/list", page(c, "syb", "顺运宝数据", gin.H{
|
||||||
"Keyword": keyword,
|
"Keyword": keyword,
|
||||||
"Rows": rows,
|
"Rows": rows,
|
||||||
"Status": "尚未实现:同步或手工录入后这里显示货运单",
|
"Status": "尚未实现:同步或手工录入后这里显示货运单",
|
||||||
@@ -78,7 +82,7 @@ func (h *Handler) TaskList(c *gin.Context) {
|
|||||||
// TODO(骨架): 查 tasks,task_type = 'purchase'
|
// TODO(骨架): 查 tasks,task_type = 'purchase'
|
||||||
var rows []gin.H
|
var rows []gin.H
|
||||||
|
|
||||||
c.HTML(http.StatusOK, "task/list", page("tasks", "采购任务", gin.H{
|
c.HTML(http.StatusOK, "task/list", page(c, "tasks", "采购任务", gin.H{
|
||||||
"Keyword": keyword,
|
"Keyword": keyword,
|
||||||
"Rows": rows,
|
"Rows": rows,
|
||||||
"Status": "尚未实现:创建任务后这里显示执行进度",
|
"Status": "尚未实现:创建任务后这里显示执行进度",
|
||||||
@@ -103,18 +107,49 @@ func (h *Handler) TaskDelete(c *gin.Context) {
|
|||||||
func (h *Handler) ClientList(c *gin.Context) {
|
func (h *Handler) ClientList(c *gin.Context) {
|
||||||
keyword := c.Query("name")
|
keyword := c.Query("name")
|
||||||
|
|
||||||
// TODO(骨架): 查 clients,并按 last_seen_at 算在线状态
|
views, err := service.ListClientViews(h.db, keyword, h.onlineThreshold)
|
||||||
var rows []gin.H
|
if err != nil {
|
||||||
|
fail(c, http.StatusInternalServerError,
|
||||||
|
"读取客户端列表失败,数据没有被改动。请稍后重试,或查看 data/logs/ 里的日志。")
|
||||||
|
return
|
||||||
|
}
|
||||||
|
|
||||||
c.HTML(http.StatusOK, "client/list", page("clients", "客户端列表", gin.H{
|
online := 0
|
||||||
|
for _, v := range views {
|
||||||
|
if v.Status == "在线" {
|
||||||
|
online++
|
||||||
|
}
|
||||||
|
}
|
||||||
|
status := fmt.Sprintf("共 %d 台客户端 · 在线 %d · 离线 %d",
|
||||||
|
len(views), online, len(views)-online)
|
||||||
|
if len(views) == 0 {
|
||||||
|
status = "还没有客户端。客户端第一次调用领取接口时会自动登记。"
|
||||||
|
}
|
||||||
|
|
||||||
|
c.HTML(http.StatusOK, "client/list", page(c, "clients", "客户端列表", gin.H{
|
||||||
"Keyword": keyword,
|
"Keyword": keyword,
|
||||||
"Rows": rows,
|
"Rows": views,
|
||||||
"Status": "尚未实现:客户端第一次调领取接口后会自动出现在这里",
|
"Status": status,
|
||||||
}))
|
}))
|
||||||
}
|
}
|
||||||
|
|
||||||
// ClientDelete 批量删除客户端。
|
// ClientDelete 批量删除客户端。
|
||||||
|
//
|
||||||
|
// 二次确认在前端做(见 static/js/app.js),这里直接删。
|
||||||
|
// 删掉之后客户端下次调 claim 会重新登记,属于正常行为。
|
||||||
func (h *Handler) ClientDelete(c *gin.Context) {
|
func (h *Handler) ClientDelete(c *gin.Context) {
|
||||||
// TODO(骨架)
|
ids := c.PostFormArray("ids")
|
||||||
fail(c, http.StatusNotImplemented, "删除功能尚未实现。")
|
if len(ids) == 0 {
|
||||||
|
fail(c, http.StatusBadRequest, "没有选中任何客户端,请勾选后再删除。")
|
||||||
|
return
|
||||||
|
}
|
||||||
|
|
||||||
|
n, err := service.DeleteClients(h.db, ids)
|
||||||
|
if err != nil {
|
||||||
|
fail(c, http.StatusInternalServerError,
|
||||||
|
"删除失败,数据没有被改动。请稍后重试,或查看 data/logs/ 里的日志。")
|
||||||
|
return
|
||||||
|
}
|
||||||
|
log.Printf("clients_deleted count=%d", n)
|
||||||
|
c.Redirect(http.StatusSeeOther, "/clients")
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -18,7 +18,7 @@ func (h *Handler) ShopeeList(c *gin.Context) {
|
|||||||
// 注意:搜索要走数据库查询,不要一次查全量再在内存里过滤。
|
// 注意:搜索要走数据库查询,不要一次查全量再在内存里过滤。
|
||||||
var rows []gin.H
|
var rows []gin.H
|
||||||
|
|
||||||
c.HTML(http.StatusOK, "shopee/list", page("shopee", "蝦皮数据", gin.H{
|
c.HTML(http.StatusOK, "shopee/list", page(c, "shopee", "蝦皮数据", gin.H{
|
||||||
"Keyword": keyword,
|
"Keyword": keyword,
|
||||||
"Rows": rows,
|
"Rows": rows,
|
||||||
"Status": "尚未实现:导入后这里显示商品和规格",
|
"Status": "尚未实现:导入后这里显示商品和规格",
|
||||||
|
|||||||
+29
-19
@@ -12,6 +12,7 @@ package web
|
|||||||
import (
|
import (
|
||||||
"database/sql"
|
"database/sql"
|
||||||
"net/http"
|
"net/http"
|
||||||
|
"time"
|
||||||
|
|
||||||
"github.com/gin-gonic/gin"
|
"github.com/gin-gonic/gin"
|
||||||
)
|
)
|
||||||
@@ -19,48 +20,57 @@ import (
|
|||||||
// Handler 持有各页面共用的依赖。
|
// Handler 持有各页面共用的依赖。
|
||||||
type Handler struct {
|
type Handler struct {
|
||||||
db *sql.DB
|
db *sql.DB
|
||||||
|
// onlineThreshold 是判定客户端"在线"的时间窗。
|
||||||
|
// 取「轮询周期 + 最长任务时长」,宽松一点,
|
||||||
|
// 免得客户端执行长任务期间被误判成离线。
|
||||||
|
onlineThreshold time.Duration
|
||||||
}
|
}
|
||||||
|
|
||||||
// Register 把四个模块的页面路由挂上去。
|
// Register 把四个模块的页面路由挂上去。
|
||||||
//
|
//
|
||||||
// 四个模块的页面结构完全一致(顶部工具条 / 中间带勾选的表格 / 底部状态条),
|
// 四个模块的页面结构完全一致(顶部工具条 / 中间带勾选的表格 / 底部状态条),
|
||||||
// 这是有意的,见 docs/admin/05-ui-specification.md §2。
|
// 这是有意的,见 docs/admin/05-ui-specification.md §2。
|
||||||
func Register(r *gin.Engine, db *sql.DB) {
|
func Register(r *gin.Engine, db *sql.DB, onlineThreshold time.Duration) {
|
||||||
h := &Handler{db: db}
|
h := &Handler{db: db, onlineThreshold: onlineThreshold}
|
||||||
|
|
||||||
|
// CSRF 只挂在页面路由上。
|
||||||
|
// 给 Client 的 /api/v1/client/* 绝不能加——它不是浏览器、没有 Cookie。
|
||||||
|
pages := r.Group("/", CSRFMiddleware())
|
||||||
|
|
||||||
// 打开根路径直接进第一个模块
|
// 打开根路径直接进第一个模块
|
||||||
r.GET("/", func(c *gin.Context) {
|
pages.GET("/", func(c *gin.Context) {
|
||||||
c.Redirect(http.StatusFound, "/shopee")
|
c.Redirect(http.StatusFound, "/shopee")
|
||||||
})
|
})
|
||||||
|
|
||||||
// 1. 蝦皮数据
|
// 1. 蝦皮数据
|
||||||
r.GET("/shopee", h.ShopeeList)
|
pages.GET("/shopee", h.ShopeeList)
|
||||||
r.POST("/shopee/import", h.ShopeeImport)
|
pages.POST("/shopee/import", h.ShopeeImport)
|
||||||
r.POST("/shopee/save", h.ShopeeSave)
|
pages.POST("/shopee/save", h.ShopeeSave)
|
||||||
r.POST("/shopee/delete", h.ShopeeDelete)
|
pages.POST("/shopee/delete", h.ShopeeDelete)
|
||||||
r.POST("/shopee/collect", h.ShopeeCollect)
|
pages.POST("/shopee/collect", h.ShopeeCollect)
|
||||||
|
|
||||||
// 2. 顺运宝数据
|
// 2. 顺运宝数据
|
||||||
r.GET("/syb", h.SybList)
|
pages.GET("/syb", h.SybList)
|
||||||
r.POST("/syb/sync", h.SybSync)
|
pages.POST("/syb/sync", h.SybSync)
|
||||||
r.POST("/syb/match", h.SybMatch)
|
pages.POST("/syb/match", h.SybMatch)
|
||||||
r.POST("/syb/create-task", h.SybCreateTask)
|
pages.POST("/syb/create-task", h.SybCreateTask)
|
||||||
r.POST("/syb/delete", h.SybDelete)
|
pages.POST("/syb/delete", h.SybDelete)
|
||||||
|
|
||||||
// 3. 采购任务
|
// 3. 采购任务
|
||||||
r.GET("/tasks", h.TaskList)
|
pages.GET("/tasks", h.TaskList)
|
||||||
r.POST("/tasks/delete", h.TaskDelete)
|
pages.POST("/tasks/delete", h.TaskDelete)
|
||||||
|
|
||||||
// 4. 客户端列表
|
// 4. 客户端列表
|
||||||
r.GET("/clients", h.ClientList)
|
pages.GET("/clients", h.ClientList)
|
||||||
r.POST("/clients/delete", h.ClientDelete)
|
pages.POST("/clients/delete", h.ClientDelete)
|
||||||
}
|
}
|
||||||
|
|
||||||
// page 组装每个页面都要的公共数据(导航高亮、标题)。
|
// page 组装每个页面都要的公共数据(导航高亮、标题、CSRF token)。
|
||||||
func page(active, title string, extra gin.H) gin.H {
|
func page(c *gin.Context, active, title string, extra gin.H) gin.H {
|
||||||
data := gin.H{
|
data := gin.H{
|
||||||
"Active": active,
|
"Active": active,
|
||||||
"Title": title,
|
"Title": title,
|
||||||
|
"CSRFToken": csrfToken(c),
|
||||||
}
|
}
|
||||||
for k, v := range extra {
|
for k, v := range extra {
|
||||||
data[k] = v
|
data[k] = v
|
||||||
|
|||||||
+1
-1
@@ -75,7 +75,7 @@ func main() {
|
|||||||
r.StaticFS("/static", http.FS(staticSub))
|
r.StaticFS("/static", http.FS(staticSub))
|
||||||
|
|
||||||
// 4. 路由
|
// 4. 路由
|
||||||
web.Register(r, db) // 给浏览器的页面
|
web.Register(r, db, config.OnlineThreshold) // 给浏览器的页面
|
||||||
api.Register(r, db) // 给 Client 的接口
|
api.Register(r, db) // 给 Client 的接口
|
||||||
|
|
||||||
log.Printf("Admin 已启动: http://%s", *addr)
|
log.Printf("Admin 已启动: http://%s", *addr)
|
||||||
|
|||||||
+52
-2
@@ -4,6 +4,32 @@
|
|||||||
// 字段含义的权威定义在 docs/admin/03-data-model.md。
|
// 字段含义的权威定义在 docs/admin/03-data-model.md。
|
||||||
package model
|
package model
|
||||||
|
|
||||||
|
import "time"
|
||||||
|
|
||||||
|
// ---------- 时间 ----------
|
||||||
|
|
||||||
|
// TimeLayout 是全项目统一的时间格式:带时区的 ISO 8601。
|
||||||
|
// 库里存 UTC,页面上再转本地时区显示。
|
||||||
|
const TimeLayout = time.RFC3339
|
||||||
|
|
||||||
|
// NowISO 返回当前 UTC 时间的字符串形式。
|
||||||
|
// 所有写库的时间戳都要用它,不要各写各的格式。
|
||||||
|
func NowISO() string {
|
||||||
|
return time.Now().UTC().Format(TimeLayout)
|
||||||
|
}
|
||||||
|
|
||||||
|
// ParseISO 解析库里存的时间字符串。解析不了返回零值和 false。
|
||||||
|
func ParseISO(s string) (time.Time, bool) {
|
||||||
|
if s == "" {
|
||||||
|
return time.Time{}, false
|
||||||
|
}
|
||||||
|
ts, err := time.Parse(TimeLayout, s)
|
||||||
|
if err != nil {
|
||||||
|
return time.Time{}, false
|
||||||
|
}
|
||||||
|
return ts, true
|
||||||
|
}
|
||||||
|
|
||||||
// ---------- 蝦皮 ----------
|
// ---------- 蝦皮 ----------
|
||||||
|
|
||||||
// CollectStatus 是某个蝦皮商品对应的 PDD 商品数据采到没有。
|
// CollectStatus 是某个蝦皮商品对应的 PDD 商品数据采到没有。
|
||||||
@@ -154,8 +180,7 @@ type Task struct {
|
|||||||
|
|
||||||
// Client 是一台执行任务的客户端。
|
// Client 是一台执行任务的客户端。
|
||||||
//
|
//
|
||||||
// 注意**没有 Status 字段**:在线状态是算出来的,
|
// 注意**没有 Status 字段**:在线状态是算出来的(见 IsOnline),
|
||||||
// LastSeenAt 在 N 分钟内算在线,否则离线。
|
|
||||||
// 存成字段会和真实情况不同步。
|
// 存成字段会和真实情况不同步。
|
||||||
type Client struct {
|
type Client struct {
|
||||||
ClientID string
|
ClientID string
|
||||||
@@ -168,3 +193,28 @@ type Client struct {
|
|||||||
CreatedAt string
|
CreatedAt string
|
||||||
UpdatedAt string
|
UpdatedAt string
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// IsOnline 判断客户端此刻算不算在线。
|
||||||
|
//
|
||||||
|
// 规则很简单:最近活动时间在 threshold 之内就算在线。
|
||||||
|
// **没有心跳是有意的**,所以客户端执行长任务期间不调接口,
|
||||||
|
// 可能显示成离线——这是已知且接受的取舍,
|
||||||
|
// 见 docs/admin/04-client-api.md §3。
|
||||||
|
//
|
||||||
|
// LastSeenAt 解析不了时一律当离线,不要当在线。
|
||||||
|
func (c Client) IsOnline(now time.Time, threshold time.Duration) bool {
|
||||||
|
seen, ok := ParseISO(c.LastSeenAt)
|
||||||
|
if !ok {
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
return now.Sub(seen) < threshold
|
||||||
|
}
|
||||||
|
|
||||||
|
// StatusText 返回给页面显示的中文状态。
|
||||||
|
// 状态不能只靠颜色区分,必须有文字。
|
||||||
|
func (c Client) StatusText(now time.Time, threshold time.Duration) string {
|
||||||
|
if c.IsOnline(now, threshold) {
|
||||||
|
return "在线"
|
||||||
|
}
|
||||||
|
return "离线"
|
||||||
|
}
|
||||||
|
|||||||
@@ -0,0 +1,121 @@
|
|||||||
|
package repository
|
||||||
|
|
||||||
|
import (
|
||||||
|
"database/sql"
|
||||||
|
"fmt"
|
||||||
|
"strings"
|
||||||
|
|
||||||
|
"cmautobuy/admin/model"
|
||||||
|
)
|
||||||
|
|
||||||
|
// UpsertClient 登记或更新一台客户端。
|
||||||
|
//
|
||||||
|
// 注意 name 的处理:**只在第一次注册时写入,之后不再更新**。
|
||||||
|
// 这样操作员在 Admin 界面上改成好记的名字后,客户端每次 claim
|
||||||
|
// 都不会把它覆盖回去。做法是 ON CONFLICT 的 DO UPDATE 里不含 name。
|
||||||
|
//
|
||||||
|
// name 为空时用 clientID 当显示名,保证列表里不出现空白行。
|
||||||
|
func UpsertClient(db *sql.DB, c model.Client) error {
|
||||||
|
if c.ClientID == "" {
|
||||||
|
return fmt.Errorf("client_id 不能为空")
|
||||||
|
}
|
||||||
|
name := c.Name
|
||||||
|
if name == "" {
|
||||||
|
name = c.ClientID
|
||||||
|
}
|
||||||
|
now := model.NowISO()
|
||||||
|
|
||||||
|
_, err := db.Exec(`
|
||||||
|
INSERT INTO clients (client_id, name, device_address, platform,
|
||||||
|
pdd_package, capabilities,
|
||||||
|
last_seen_at, created_at, updated_at)
|
||||||
|
VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?)
|
||||||
|
ON CONFLICT(client_id) DO UPDATE SET
|
||||||
|
device_address = excluded.device_address,
|
||||||
|
platform = excluded.platform,
|
||||||
|
pdd_package = excluded.pdd_package,
|
||||||
|
capabilities = excluded.capabilities,
|
||||||
|
last_seen_at = excluded.last_seen_at,
|
||||||
|
updated_at = excluded.updated_at`,
|
||||||
|
c.ClientID, name, c.DeviceAddress, c.Platform,
|
||||||
|
c.PddPackage, c.Capabilities, now, now, now)
|
||||||
|
if err != nil {
|
||||||
|
return fmt.Errorf("登记客户端 %s 失败: %w", c.ClientID, err)
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// TouchClient 只刷新 last_seen_at。
|
||||||
|
//
|
||||||
|
// claim / result / failure 三个接口都要调。只在 claim 里调的话,
|
||||||
|
// 客户端执行长任务期间不调 claim,会被误判成离线。
|
||||||
|
func TouchClient(db *sql.DB, clientID string) error {
|
||||||
|
now := model.NowISO()
|
||||||
|
_, err := db.Exec(
|
||||||
|
`UPDATE clients SET last_seen_at = ?, updated_at = ? WHERE client_id = ?`,
|
||||||
|
now, now, clientID)
|
||||||
|
if err != nil {
|
||||||
|
return fmt.Errorf("刷新客户端 %s 活动时间失败: %w", clientID, err)
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// ListClients 按名称模糊查询客户端,keyword 为空时返回全部。
|
||||||
|
func ListClients(db *sql.DB, keyword string) ([]model.Client, error) {
|
||||||
|
query := `SELECT client_id, name, device_address, platform, pdd_package,
|
||||||
|
capabilities, last_seen_at, created_at, updated_at
|
||||||
|
FROM clients`
|
||||||
|
args := []any{}
|
||||||
|
|
||||||
|
if kw := strings.TrimSpace(keyword); kw != "" {
|
||||||
|
// 参数化查询,通配符拼在值里而不是 SQL 里
|
||||||
|
query += ` WHERE name LIKE ? OR client_id LIKE ?`
|
||||||
|
like := "%" + kw + "%"
|
||||||
|
args = append(args, like, like)
|
||||||
|
}
|
||||||
|
query += ` ORDER BY last_seen_at DESC, client_id`
|
||||||
|
|
||||||
|
rows, err := db.Query(query, args...)
|
||||||
|
if err != nil {
|
||||||
|
return nil, fmt.Errorf("查询客户端列表失败: %w", err)
|
||||||
|
}
|
||||||
|
defer rows.Close()
|
||||||
|
|
||||||
|
var out []model.Client
|
||||||
|
for rows.Next() {
|
||||||
|
var c model.Client
|
||||||
|
var name, addr, platform, pkg, caps sql.NullString
|
||||||
|
if err := rows.Scan(&c.ClientID, &name, &addr, &platform, &pkg,
|
||||||
|
&caps, &c.LastSeenAt, &c.CreatedAt, &c.UpdatedAt); err != nil {
|
||||||
|
return nil, fmt.Errorf("读取客户端行失败: %w", err)
|
||||||
|
}
|
||||||
|
c.Name = name.String
|
||||||
|
c.DeviceAddress = addr.String
|
||||||
|
c.Platform = platform.String
|
||||||
|
c.PddPackage = pkg.String
|
||||||
|
c.Capabilities = caps.String
|
||||||
|
out = append(out, c)
|
||||||
|
}
|
||||||
|
return out, rows.Err()
|
||||||
|
}
|
||||||
|
|
||||||
|
// DeleteClients 批量删除客户端。返回实际删除的条数。
|
||||||
|
func DeleteClients(db *sql.DB, clientIDs []string) (int64, error) {
|
||||||
|
if len(clientIDs) == 0 {
|
||||||
|
return 0, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// 占位符按数量生成,值仍然是参数化传入,不存在注入
|
||||||
|
placeholders := strings.TrimSuffix(strings.Repeat("?,", len(clientIDs)), ",")
|
||||||
|
args := make([]any, len(clientIDs))
|
||||||
|
for i, id := range clientIDs {
|
||||||
|
args[i] = id
|
||||||
|
}
|
||||||
|
|
||||||
|
res, err := db.Exec(
|
||||||
|
`DELETE FROM clients WHERE client_id IN (`+placeholders+`)`, args...)
|
||||||
|
if err != nil {
|
||||||
|
return 0, fmt.Errorf("删除客户端失败: %w", err)
|
||||||
|
}
|
||||||
|
return res.RowsAffected()
|
||||||
|
}
|
||||||
+31
-12
@@ -20,26 +20,45 @@ import (
|
|||||||
_ "modernc.org/sqlite"
|
_ "modernc.org/sqlite"
|
||||||
)
|
)
|
||||||
|
|
||||||
// Open 打开 data/admin.db,并设置必要的 PRAGMA。
|
// Open 打开 data/admin.db。
|
||||||
|
//
|
||||||
|
// **PRAGMA 必须写在 DSN 里,不能用 db.Exec("PRAGMA ...") 设置。**
|
||||||
|
//
|
||||||
|
// 原因是 Go 的 database/sql 是一个**连接池**:db.Exec 只作用于当时
|
||||||
|
// 拿到的那一条连接,池子后来新开的连接完全没执行过那些 PRAGMA。
|
||||||
|
// 并发写的时候,没有 busy_timeout 的那些连接会直接报
|
||||||
|
// "database is locked (SQLITE_BUSY)",而不是等锁释放。
|
||||||
|
//
|
||||||
|
// 写进 DSN 后,驱动会对**每一条新连接**都应用一遍,这才是对的。
|
||||||
func Open(dataDir string) (*sql.DB, error) {
|
func Open(dataDir string) (*sql.DB, error) {
|
||||||
path := filepath.Join(dataDir, "admin.db")
|
path := filepath.Join(dataDir, "admin.db")
|
||||||
|
|
||||||
db, err := sql.Open("sqlite", path)
|
// 三条设置的含义见 docs/admin/03-data-model.md §2:
|
||||||
|
// busy_timeout 拿不到锁时最多等 5 秒,而不是立刻报错
|
||||||
|
// journal_mode WAL 模式,读和写可以同时进行
|
||||||
|
// foreign_keys 打开外键约束(SQLite 默认是关的)
|
||||||
|
dsn := "file:" + path +
|
||||||
|
"?_pragma=busy_timeout(5000)" +
|
||||||
|
"&_pragma=journal_mode(WAL)" +
|
||||||
|
"&_pragma=foreign_keys(1)"
|
||||||
|
|
||||||
|
db, err := sql.Open("sqlite", dsn)
|
||||||
if err != nil {
|
if err != nil {
|
||||||
return nil, fmt.Errorf("打开数据库 %s 失败: %w", path, err)
|
return nil, fmt.Errorf("打开数据库 %s 失败: %w", path, err)
|
||||||
}
|
}
|
||||||
|
|
||||||
// 这三条见 docs/admin/03-data-model.md §2
|
// SQLite 同一时刻只允许一个写事务。连接数放太开,
|
||||||
pragmas := []string{
|
// 大量连接会互相抢锁、把 busy_timeout 耗光。
|
||||||
"PRAGMA foreign_keys = ON",
|
// 本项目是单机内部工具,并发量很小,限制在个位数足够。
|
||||||
"PRAGMA journal_mode = WAL",
|
//
|
||||||
"PRAGMA busy_timeout = 5000",
|
// 注意**不要设成 1**:那样在一个事务里再调用需要连接的代码会死锁。
|
||||||
}
|
db.SetMaxOpenConns(4)
|
||||||
for _, p := range pragmas {
|
db.SetMaxIdleConns(4)
|
||||||
if _, err := db.Exec(p); err != nil {
|
|
||||||
|
// sql.Open 是懒加载的,这里主动连一次,好让配置错误立刻暴露
|
||||||
|
if err := db.Ping(); err != nil {
|
||||||
db.Close()
|
db.Close()
|
||||||
return nil, fmt.Errorf("执行 %s 失败: %w", p, err)
|
return nil, fmt.Errorf("连接数据库 %s 失败: %w", path, err)
|
||||||
}
|
|
||||||
}
|
}
|
||||||
return db, nil
|
return db, nil
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -0,0 +1,127 @@
|
|||||||
|
package repository
|
||||||
|
|
||||||
|
import (
|
||||||
|
"database/sql"
|
||||||
|
"fmt"
|
||||||
|
"strings"
|
||||||
|
|
||||||
|
"cmautobuy/admin/model"
|
||||||
|
)
|
||||||
|
|
||||||
|
// claimCandidateLimit 是一次最多尝试抢多少条。
|
||||||
|
// 抢不到说明被别的客户端拿走了,再试下一条;都抢不到就当作没任务。
|
||||||
|
const claimCandidateLimit = 10
|
||||||
|
|
||||||
|
// ClaimNextTask 为指定客户端领取一个任务。
|
||||||
|
//
|
||||||
|
// 没有可领的任务时返回 (nil, nil) —— 调用方据此返回 204。
|
||||||
|
//
|
||||||
|
// 防并发的做法是**条件更新 + 检查影响行数**:先查出候选,
|
||||||
|
// 再用 `WHERE task_id = ? AND status = 'assigned'` 去更新,
|
||||||
|
// 影响行数为 0 就说明被别人抢先了,换下一条。
|
||||||
|
// 不用 SELECT ... FOR UPDATE,SQLite 没有那个。
|
||||||
|
func ClaimNextTask(db *sql.DB, clientID string, supportedTypes []string) (*model.Task, error) {
|
||||||
|
if clientID == "" {
|
||||||
|
return nil, fmt.Errorf("client_id 不能为空")
|
||||||
|
}
|
||||||
|
|
||||||
|
query := `SELECT task_id FROM tasks
|
||||||
|
WHERE assigned_client = ? AND status = 'assigned'`
|
||||||
|
args := []any{clientID}
|
||||||
|
|
||||||
|
// 客户端只声明支持某些类型时,不要给它别的类型
|
||||||
|
if len(supportedTypes) > 0 {
|
||||||
|
placeholders := strings.TrimSuffix(strings.Repeat("?,", len(supportedTypes)), ",")
|
||||||
|
query += ` AND task_type IN (` + placeholders + `)`
|
||||||
|
for _, t := range supportedTypes {
|
||||||
|
args = append(args, t)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
query += ` ORDER BY priority DESC, created_at LIMIT ?`
|
||||||
|
args = append(args, claimCandidateLimit)
|
||||||
|
|
||||||
|
rows, err := db.Query(query, args...)
|
||||||
|
if err != nil {
|
||||||
|
return nil, fmt.Errorf("查询可领任务失败: %w", err)
|
||||||
|
}
|
||||||
|
var candidates []string
|
||||||
|
for rows.Next() {
|
||||||
|
var id string
|
||||||
|
if err := rows.Scan(&id); err != nil {
|
||||||
|
rows.Close()
|
||||||
|
return nil, fmt.Errorf("读取候选任务失败: %w", err)
|
||||||
|
}
|
||||||
|
candidates = append(candidates, id)
|
||||||
|
}
|
||||||
|
rows.Close()
|
||||||
|
if err := rows.Err(); err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
|
||||||
|
now := model.NowISO()
|
||||||
|
for _, taskID := range candidates {
|
||||||
|
res, err := db.Exec(`
|
||||||
|
UPDATE tasks SET status = 'claimed', claimed_at = ?, updated_at = ?
|
||||||
|
WHERE task_id = ? AND status = 'assigned'`,
|
||||||
|
now, now, taskID)
|
||||||
|
if err != nil {
|
||||||
|
return nil, fmt.Errorf("领取任务 %s 失败: %w", taskID, err)
|
||||||
|
}
|
||||||
|
n, err := res.RowsAffected()
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
if n == 0 {
|
||||||
|
continue // 被别的客户端抢先了,换下一条
|
||||||
|
}
|
||||||
|
return GetTask(db, taskID)
|
||||||
|
}
|
||||||
|
return nil, nil // 没有可领的任务
|
||||||
|
}
|
||||||
|
|
||||||
|
// GetTask 按编号读一条任务。
|
||||||
|
func GetTask(db *sql.DB, taskID string) (*model.Task, error) {
|
||||||
|
var t model.Task
|
||||||
|
var assigned, claimedAt, sybID, orderNo, goodsID, skuID sql.NullString
|
||||||
|
var pddGoodsID, pddOptions, resultData, errCode, errMsg, finishedAt sql.NullString
|
||||||
|
var quantity, maxPrice sql.NullInt64
|
||||||
|
|
||||||
|
err := db.QueryRow(`
|
||||||
|
SELECT task_id, task_type, status, version, priority,
|
||||||
|
assigned_client, claimed_at,
|
||||||
|
syb_id, order_no, goods_id, shopee_sku_id,
|
||||||
|
pdd_goods_url, pdd_goods_id, pdd_options,
|
||||||
|
quantity, max_price_cent,
|
||||||
|
result_data, error_code, error_message, finished_at,
|
||||||
|
created_at, updated_at
|
||||||
|
FROM tasks WHERE task_id = ?`, taskID).Scan(
|
||||||
|
&t.TaskID, &t.TaskType, &t.Status, &t.Version, &t.Priority,
|
||||||
|
&assigned, &claimedAt,
|
||||||
|
&sybID, &orderNo, &goodsID, &skuID,
|
||||||
|
&t.PddGoodsURL, &pddGoodsID, &pddOptions,
|
||||||
|
&quantity, &maxPrice,
|
||||||
|
&resultData, &errCode, &errMsg, &finishedAt,
|
||||||
|
&t.CreatedAt, &t.UpdatedAt)
|
||||||
|
if err == sql.ErrNoRows {
|
||||||
|
return nil, nil
|
||||||
|
}
|
||||||
|
if err != nil {
|
||||||
|
return nil, fmt.Errorf("读取任务 %s 失败: %w", taskID, err)
|
||||||
|
}
|
||||||
|
|
||||||
|
t.AssignedClient = assigned.String
|
||||||
|
t.ClaimedAt = claimedAt.String
|
||||||
|
t.SybID = sybID.String
|
||||||
|
t.OrderNo = orderNo.String
|
||||||
|
t.GoodsID = goodsID.String
|
||||||
|
t.ShopeeSKUID = skuID.String
|
||||||
|
t.PddGoodsID = pddGoodsID.String
|
||||||
|
t.PddOptions = pddOptions.String
|
||||||
|
t.Quantity = int(quantity.Int64)
|
||||||
|
t.MaxPriceCent = maxPrice.Int64
|
||||||
|
t.ResultData = resultData.String
|
||||||
|
t.ErrorCode = errCode.String
|
||||||
|
t.ErrorMessage = errMsg.String
|
||||||
|
t.FinishedAt = finishedAt.String
|
||||||
|
return &t, nil
|
||||||
|
}
|
||||||
@@ -0,0 +1,358 @@
|
|||||||
|
package service
|
||||||
|
|
||||||
|
import (
|
||||||
|
"database/sql"
|
||||||
|
"path/filepath"
|
||||||
|
"sync"
|
||||||
|
"testing"
|
||||||
|
"time"
|
||||||
|
|
||||||
|
"cmautobuy/admin/model"
|
||||||
|
"cmautobuy/admin/repository"
|
||||||
|
)
|
||||||
|
|
||||||
|
// newTestDB 建一个临时库,测试结束自动删。
|
||||||
|
// 用真实的 migrations,这样表结构变了测试会跟着失败。
|
||||||
|
func newTestDB(t *testing.T) *sql.DB {
|
||||||
|
t.Helper()
|
||||||
|
|
||||||
|
db, err := repository.Open(t.TempDir())
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("打开测试库失败: %v", err)
|
||||||
|
}
|
||||||
|
if err := repository.Migrate(db); err != nil {
|
||||||
|
t.Fatalf("迁移失败: %v", err)
|
||||||
|
}
|
||||||
|
t.Cleanup(func() { db.Close() })
|
||||||
|
return db
|
||||||
|
}
|
||||||
|
|
||||||
|
// insertTask 插一条待领取的任务,供领取相关的测试使用。
|
||||||
|
func insertTask(t *testing.T, db *sql.DB, taskID, client string) {
|
||||||
|
t.Helper()
|
||||||
|
now := model.NowISO()
|
||||||
|
_, err := db.Exec(`
|
||||||
|
INSERT INTO tasks (task_id, task_type, status, assigned_client,
|
||||||
|
order_no, pdd_goods_url, pdd_goods_id, pdd_options,
|
||||||
|
quantity, max_price_cent, created_at, updated_at)
|
||||||
|
VALUES (?, 'purchase', 'assigned', ?, 'TEST-ORDER',
|
||||||
|
'https://mobile.yangkeduo.com/goods.html?goods_id=1', '1',
|
||||||
|
'{"color":"黑色","size":"M码"}', 2, 4200, ?, ?)`,
|
||||||
|
taskID, client, now, now)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("插入测试任务失败: %v", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// ── 注册 ───────────────────────────────────────────────
|
||||||
|
|
||||||
|
func TestRegisterClient_新客户端被登记(t *testing.T) {
|
||||||
|
db := newTestDB(t)
|
||||||
|
|
||||||
|
err := RegisterClient(db, model.Client{
|
||||||
|
ClientID: "client-001", Name: "办公室-01",
|
||||||
|
DeviceAddress: "192.168.0.173:5555", Platform: "android",
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("注册失败: %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
views, err := ListClientViews(db, "", time.Minute)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("查询失败: %v", err)
|
||||||
|
}
|
||||||
|
if len(views) != 1 {
|
||||||
|
t.Fatalf("期望 1 台客户端,实际 %d", len(views))
|
||||||
|
}
|
||||||
|
if views[0].Name != "办公室-01" {
|
||||||
|
t.Errorf("名称错误:期望 办公室-01,实际 %s", views[0].Name)
|
||||||
|
}
|
||||||
|
if views[0].DeviceAddress != "192.168.0.173:5555" {
|
||||||
|
t.Errorf("设备地址错误:%s", views[0].DeviceAddress)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestRegisterClient_没上报名称时用编号兜底(t *testing.T) {
|
||||||
|
db := newTestDB(t)
|
||||||
|
|
||||||
|
if err := RegisterClient(db, model.Client{ClientID: "client-002"}); err != nil {
|
||||||
|
t.Fatalf("注册失败: %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
views, _ := ListClientViews(db, "", time.Minute)
|
||||||
|
if views[0].Name != "client-002" {
|
||||||
|
t.Errorf("期望用 client-002 兜底,实际 %q", views[0].Name)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// 这条是本工单的重点:操作员改过名字后,客户端再来注册不能覆盖它。
|
||||||
|
func TestRegisterClient_人工改过的名称不被覆盖(t *testing.T) {
|
||||||
|
db := newTestDB(t)
|
||||||
|
|
||||||
|
// 客户端第一次注册,上报名字是 "默认名"
|
||||||
|
if err := RegisterClient(db, model.Client{
|
||||||
|
ClientID: "client-003", Name: "默认名", Platform: "android",
|
||||||
|
}); err != nil {
|
||||||
|
t.Fatalf("首次注册失败: %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
// 操作员在界面上改成好记的名字
|
||||||
|
if _, err := db.Exec(
|
||||||
|
`UPDATE clients SET name = ? WHERE client_id = ?`,
|
||||||
|
"仓库那台", "client-003"); err != nil {
|
||||||
|
t.Fatalf("人工改名失败: %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
// 客户端再次 claim,又上报了 "默认名"
|
||||||
|
if err := RegisterClient(db, model.Client{
|
||||||
|
ClientID: "client-003", Name: "默认名", Platform: "android",
|
||||||
|
DeviceAddress: "10.0.0.9:5555",
|
||||||
|
}); err != nil {
|
||||||
|
t.Fatalf("再次注册失败: %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
views, _ := ListClientViews(db, "", time.Minute)
|
||||||
|
if views[0].Name != "仓库那台" {
|
||||||
|
t.Errorf("人工改的名字被覆盖了:期望 仓库那台,实际 %s", views[0].Name)
|
||||||
|
}
|
||||||
|
// 但设备信息应该被更新
|
||||||
|
if views[0].DeviceAddress != "10.0.0.9:5555" {
|
||||||
|
t.Errorf("设备地址没更新:%s", views[0].DeviceAddress)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// ── 在线状态 ───────────────────────────────────────────
|
||||||
|
|
||||||
|
func TestIsOnline_阈值边界(t *testing.T) {
|
||||||
|
now := time.Date(2026, 8, 6, 12, 0, 0, 0, time.UTC)
|
||||||
|
threshold := 10 * time.Minute
|
||||||
|
|
||||||
|
cases := []struct {
|
||||||
|
name string
|
||||||
|
lastSeen string
|
||||||
|
want bool
|
||||||
|
}{
|
||||||
|
{"刚刚活动", now.Add(-1 * time.Second).Format(model.TimeLayout), true},
|
||||||
|
{"阈值内", now.Add(-9 * time.Minute).Format(model.TimeLayout), true},
|
||||||
|
{"刚好到阈值", now.Add(-10 * time.Minute).Format(model.TimeLayout), false},
|
||||||
|
{"超过阈值", now.Add(-11 * time.Minute).Format(model.TimeLayout), false},
|
||||||
|
{"时间解析不了一律算离线", "不是时间", false},
|
||||||
|
{"空值一律算离线", "", false},
|
||||||
|
}
|
||||||
|
for _, tc := range cases {
|
||||||
|
t.Run(tc.name, func(t *testing.T) {
|
||||||
|
c := model.Client{LastSeenAt: tc.lastSeen}
|
||||||
|
if got := c.IsOnline(now, threshold); got != tc.want {
|
||||||
|
t.Errorf("期望 %v,实际 %v", tc.want, got)
|
||||||
|
}
|
||||||
|
})
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestTouchClient_刷新活动时间(t *testing.T) {
|
||||||
|
db := newTestDB(t)
|
||||||
|
|
||||||
|
// 造一台很久没活动的客户端
|
||||||
|
if err := RegisterClient(db, model.Client{ClientID: "client-004"}); err != nil {
|
||||||
|
t.Fatalf("注册失败: %v", err)
|
||||||
|
}
|
||||||
|
old := "2020-01-01T00:00:00Z"
|
||||||
|
if _, err := db.Exec(
|
||||||
|
`UPDATE clients SET last_seen_at = ? WHERE client_id = ?`,
|
||||||
|
old, "client-004"); err != nil {
|
||||||
|
t.Fatalf("改时间失败: %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
views, _ := ListClientViews(db, "", 10*time.Minute)
|
||||||
|
if views[0].Status != "离线" {
|
||||||
|
t.Fatalf("改时间后应为离线,实际 %s", views[0].Status)
|
||||||
|
}
|
||||||
|
|
||||||
|
if err := TouchClient(db, "client-004"); err != nil {
|
||||||
|
t.Fatalf("TouchClient 失败: %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
views, _ = ListClientViews(db, "", 10*time.Minute)
|
||||||
|
if views[0].Status != "在线" {
|
||||||
|
t.Errorf("刷新后应为在线,实际 %s", views[0].Status)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// ── 搜索与删除 ─────────────────────────────────────────
|
||||||
|
|
||||||
|
func TestListClientViews_按名称搜索(t *testing.T) {
|
||||||
|
db := newTestDB(t)
|
||||||
|
RegisterClient(db, model.Client{ClientID: "c-1", Name: "办公室-01"})
|
||||||
|
RegisterClient(db, model.Client{ClientID: "c-2", Name: "仓库-01"})
|
||||||
|
|
||||||
|
views, err := ListClientViews(db, "办公室", time.Minute)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("搜索失败: %v", err)
|
||||||
|
}
|
||||||
|
if len(views) != 1 || views[0].ClientID != "c-1" {
|
||||||
|
t.Errorf("搜索结果不对:%+v", views)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestDeleteClients_批量删除(t *testing.T) {
|
||||||
|
db := newTestDB(t)
|
||||||
|
RegisterClient(db, model.Client{ClientID: "c-1"})
|
||||||
|
RegisterClient(db, model.Client{ClientID: "c-2"})
|
||||||
|
RegisterClient(db, model.Client{ClientID: "c-3"})
|
||||||
|
|
||||||
|
n, err := DeleteClients(db, []string{"c-1", "c-3"})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("删除失败: %v", err)
|
||||||
|
}
|
||||||
|
if n != 2 {
|
||||||
|
t.Errorf("期望删除 2 条,实际 %d", n)
|
||||||
|
}
|
||||||
|
|
||||||
|
views, _ := ListClientViews(db, "", time.Minute)
|
||||||
|
if len(views) != 1 || views[0].ClientID != "c-2" {
|
||||||
|
t.Errorf("剩余客户端不对:%+v", views)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// ── 领取任务 ───────────────────────────────────────────
|
||||||
|
|
||||||
|
func TestClaimNextTask_没有任务返回nil(t *testing.T) {
|
||||||
|
db := newTestDB(t)
|
||||||
|
RegisterClient(db, model.Client{ClientID: "client-001"})
|
||||||
|
|
||||||
|
task, err := ClaimNextTask(db, "client-001", []string{"collect", "purchase"})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("领取失败: %v", err)
|
||||||
|
}
|
||||||
|
if task != nil {
|
||||||
|
t.Errorf("没有任务时应返回 nil,实际拿到 %+v", task)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestClaimNextTask_只领分配给自己的(t *testing.T) {
|
||||||
|
db := newTestDB(t)
|
||||||
|
insertTask(t, db, "TASK-A", "client-001")
|
||||||
|
insertTask(t, db, "TASK-B", "client-002")
|
||||||
|
|
||||||
|
task, err := ClaimNextTask(db, "client-002", []string{"purchase"})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("领取失败: %v", err)
|
||||||
|
}
|
||||||
|
if task == nil {
|
||||||
|
t.Fatal("应该领到 TASK-B,实际没领到")
|
||||||
|
}
|
||||||
|
if task.TaskID != "TASK-B" {
|
||||||
|
t.Errorf("领错了任务:期望 TASK-B,实际 %s", task.TaskID)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestClaimNextTask_同一任务不会被领两次(t *testing.T) {
|
||||||
|
db := newTestDB(t)
|
||||||
|
insertTask(t, db, "TASK-A", "client-001")
|
||||||
|
|
||||||
|
first, _ := ClaimNextTask(db, "client-001", []string{"purchase"})
|
||||||
|
if first == nil {
|
||||||
|
t.Fatal("第一次应该领到任务")
|
||||||
|
}
|
||||||
|
|
||||||
|
second, err := ClaimNextTask(db, "client-001", []string{"purchase"})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("第二次领取报错: %v", err)
|
||||||
|
}
|
||||||
|
if second != nil {
|
||||||
|
t.Errorf("同一任务被领了两次:%s", second.TaskID)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// 并发领取:多个 goroutine 同时抢一条任务,只能有一个拿到。
|
||||||
|
func TestClaimNextTask_并发只有一个拿到(t *testing.T) {
|
||||||
|
db := newTestDB(t)
|
||||||
|
insertTask(t, db, "TASK-ONLY-ONE", "client-001")
|
||||||
|
|
||||||
|
const workers = 8
|
||||||
|
var (
|
||||||
|
wg sync.WaitGroup
|
||||||
|
mu sync.Mutex
|
||||||
|
gotIt int
|
||||||
|
lastErr error
|
||||||
|
)
|
||||||
|
for i := 0; i < workers; i++ {
|
||||||
|
wg.Add(1)
|
||||||
|
go func() {
|
||||||
|
defer wg.Done()
|
||||||
|
task, err := ClaimNextTask(db, "client-001", []string{"purchase"})
|
||||||
|
mu.Lock()
|
||||||
|
defer mu.Unlock()
|
||||||
|
if err != nil {
|
||||||
|
lastErr = err
|
||||||
|
return
|
||||||
|
}
|
||||||
|
if task != nil {
|
||||||
|
gotIt++
|
||||||
|
}
|
||||||
|
}()
|
||||||
|
}
|
||||||
|
wg.Wait()
|
||||||
|
|
||||||
|
if lastErr != nil {
|
||||||
|
t.Fatalf("并发领取出错: %v", lastErr)
|
||||||
|
}
|
||||||
|
if gotIt != 1 {
|
||||||
|
t.Errorf("同一任务被 %d 个客户端领到,期望正好 1 个", gotIt)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestClaimNextTask_不领不支持的类型(t *testing.T) {
|
||||||
|
db := newTestDB(t)
|
||||||
|
insertTask(t, db, "TASK-P", "client-001") // 这是 purchase 类型
|
||||||
|
|
||||||
|
task, err := ClaimNextTask(db, "client-001", []string{"collect"})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("领取失败: %v", err)
|
||||||
|
}
|
||||||
|
if task != nil {
|
||||||
|
t.Errorf("只支持 collect 的客户端不该拿到 purchase 任务:%s", task.TaskID)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestClaimNextTask_返回的任务带齐必填字段(t *testing.T) {
|
||||||
|
db := newTestDB(t)
|
||||||
|
insertTask(t, db, "TASK-A", "client-001")
|
||||||
|
|
||||||
|
task, _ := ClaimNextTask(db, "client-001", []string{"purchase"})
|
||||||
|
if task == nil {
|
||||||
|
t.Fatal("应该领到任务")
|
||||||
|
}
|
||||||
|
|
||||||
|
// Client 契约要求:goods_url 必有值
|
||||||
|
if task.PddGoodsURL == "" {
|
||||||
|
t.Error("pdd_goods_url 为空,Client 无法执行")
|
||||||
|
}
|
||||||
|
// 采购任务必须带价格保护
|
||||||
|
if task.Quantity <= 0 {
|
||||||
|
t.Errorf("采购任务的数量必须 > 0,实际 %d", task.Quantity)
|
||||||
|
}
|
||||||
|
if task.MaxPriceCent <= 0 {
|
||||||
|
t.Errorf("采购任务的价格上限必须 > 0,实际 %d", task.MaxPriceCent)
|
||||||
|
}
|
||||||
|
if task.Status != model.TaskClaimed {
|
||||||
|
t.Errorf("领取后状态应为 claimed,实际 %s", task.Status)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// 确认迁移文件路径拼接没问题(顺带覆盖 repository.Open)
|
||||||
|
func TestOpen_数据库文件落在指定目录(t *testing.T) {
|
||||||
|
dir := t.TempDir()
|
||||||
|
db, err := repository.Open(dir)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("打开失败: %v", err)
|
||||||
|
}
|
||||||
|
defer db.Close()
|
||||||
|
|
||||||
|
if _, err := repository.Migrate(db), error(nil); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
if _, err := filepath.Abs(filepath.Join(dir, "admin.db")); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -9,6 +9,10 @@ package service
|
|||||||
import (
|
import (
|
||||||
"database/sql"
|
"database/sql"
|
||||||
"errors"
|
"errors"
|
||||||
|
"time"
|
||||||
|
|
||||||
|
"cmautobuy/admin/model"
|
||||||
|
"cmautobuy/admin/repository"
|
||||||
)
|
)
|
||||||
|
|
||||||
// ErrNotImplemented 表示该功能还没实现。
|
// ErrNotImplemented 表示该功能还没实现。
|
||||||
@@ -114,13 +118,11 @@ func CreatePurchaseTasks(db *sql.DB, sybIDs []string, clientID string) (created
|
|||||||
// **没有单独的注册接口,也没有心跳**——注册就在 claim 里做,
|
// **没有单独的注册接口,也没有心跳**——注册就在 claim 里做,
|
||||||
// 理由见 docs/admin/04-client-api.md §3。
|
// 理由见 docs/admin/04-client-api.md §3。
|
||||||
//
|
//
|
||||||
// 规则:
|
// 关于 name:**只在第一次注册时写入,之后不再更新**。
|
||||||
// - 新 client_id 就新增,已有就更新 device/capabilities/last_seen_at;
|
// 这样操作员在界面上改成好记的名字后,客户端每次 claim
|
||||||
// - name 若已被人工改过,**不要用客户端上报的覆盖**;
|
// 都不会把它覆盖回去。客户端没上报 name 时用 clientID 当显示名。
|
||||||
// - 客户端没上报 name 时,用 client_id 当显示名。
|
func RegisterClient(db *sql.DB, c model.Client) error {
|
||||||
func RegisterClient(db *sql.DB, clientID, name, address, platform, pddPackage, capabilitiesJSON string) error {
|
return repository.UpsertClient(db, c)
|
||||||
// TODO(骨架): upsert clients
|
|
||||||
return ErrNotImplemented
|
|
||||||
}
|
}
|
||||||
|
|
||||||
// TouchClient 刷新 last_seen_at。
|
// TouchClient 刷新 last_seen_at。
|
||||||
@@ -129,6 +131,44 @@ func RegisterClient(db *sql.DB, clientID, name, address, platform, pddPackage, c
|
|||||||
// 只在 claim 里调的话,客户端执行长任务期间不调 claim,
|
// 只在 claim 里调的话,客户端执行长任务期间不调 claim,
|
||||||
// 会被误判成离线。
|
// 会被误判成离线。
|
||||||
func TouchClient(db *sql.DB, clientID string) error {
|
func TouchClient(db *sql.DB, clientID string) error {
|
||||||
// TODO(骨架)
|
return repository.TouchClient(db, clientID)
|
||||||
return ErrNotImplemented
|
}
|
||||||
|
|
||||||
|
// ClientView 是客户端列表页要显示的一行。
|
||||||
|
// Status 是**算出来的**,数据库里没有这个字段。
|
||||||
|
type ClientView struct {
|
||||||
|
model.Client
|
||||||
|
Status string
|
||||||
|
}
|
||||||
|
|
||||||
|
// ListClientViews 查客户端列表,并把在线状态算出来。
|
||||||
|
func ListClientViews(db *sql.DB, keyword string, threshold time.Duration) ([]ClientView, error) {
|
||||||
|
clients, err := repository.ListClients(db, keyword)
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
now := time.Now().UTC()
|
||||||
|
|
||||||
|
views := make([]ClientView, 0, len(clients))
|
||||||
|
for _, c := range clients {
|
||||||
|
views = append(views, ClientView{
|
||||||
|
Client: c,
|
||||||
|
Status: c.StatusText(now, threshold),
|
||||||
|
})
|
||||||
|
}
|
||||||
|
return views, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// DeleteClients 批量删除,返回实际删除条数。
|
||||||
|
func DeleteClients(db *sql.DB, clientIDs []string) (int64, error) {
|
||||||
|
return repository.DeleteClients(db, clientIDs)
|
||||||
|
}
|
||||||
|
|
||||||
|
// ---------- 领取任务 ----------
|
||||||
|
|
||||||
|
// ClaimNextTask 为客户端领取一个任务,没有可领的返回 (nil, nil)。
|
||||||
|
//
|
||||||
|
// 调用方拿到 nil 要返回 204 No Content,**不是 200 加空对象**。
|
||||||
|
func ClaimNextTask(db *sql.DB, clientID string, supportedTypes []string) (*model.Task, error) {
|
||||||
|
return repository.ClaimNextTask(db, clientID, supportedTypes)
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -8,7 +8,8 @@
|
|||||||
<button type="submit">搜索</button>
|
<button type="submit">搜索</button>
|
||||||
</form>
|
</form>
|
||||||
|
|
||||||
<form class="inline" method="post" action="/clients/delete" data-confirm-delete>
|
<form class="inline" id="client-delete-form" method="post" action="/clients/delete" data-confirm-delete>
|
||||||
|
<input type="hidden" name="csrf_token" value="{{.CSRFToken}}">
|
||||||
<button type="submit" class="danger" data-need-checked>删除</button>
|
<button type="submit" class="danger" data-need-checked>删除</button>
|
||||||
</form>
|
</form>
|
||||||
</div>
|
</div>
|
||||||
@@ -27,10 +28,17 @@
|
|||||||
</thead>
|
</thead>
|
||||||
<tbody>
|
<tbody>
|
||||||
{{range .Rows}}
|
{{range .Rows}}
|
||||||
{{/* TODO(骨架): 行渲染。
|
<tr>
|
||||||
「状态」是算出来的:最近活动在 N 分钟内为在线,否则离线。
|
<td class="col-check">
|
||||||
数据库里没有 status 字段,存成字段会和真实情况不同步。
|
<input type="checkbox" name="ids" value="{{.ClientID}}" form="client-delete-form">
|
||||||
名称可以人工改成好记的,改过之后客户端上报的名称不再覆盖它。 */}}
|
</td>
|
||||||
|
<td>{{.Name}}</td>
|
||||||
|
<td>{{.ClientID}}</td>
|
||||||
|
{{/* 状态是算出来的,不是数据库字段。必须有文字,不能只靠颜色 */}}
|
||||||
|
<td>{{.Status}}</td>
|
||||||
|
<td>{{.LastSeenAt}}</td>
|
||||||
|
<td>{{.UpdatedAt}}</td>
|
||||||
|
</tr>
|
||||||
{{else}}
|
{{else}}
|
||||||
<tr class="empty">
|
<tr class="empty">
|
||||||
<td colspan="6">
|
<td colspan="6">
|
||||||
|
|||||||
@@ -4,11 +4,13 @@
|
|||||||
{{/* ── 第一段:顶部工具条 ────────────────────────────── */}}
|
{{/* ── 第一段:顶部工具条 ────────────────────────────── */}}
|
||||||
<div class="toolbar">
|
<div class="toolbar">
|
||||||
<form class="inline" method="post" action="/shopee/import" enctype="multipart/form-data">
|
<form class="inline" method="post" action="/shopee/import" enctype="multipart/form-data">
|
||||||
|
<input type="hidden" name="csrf_token" value="{{.CSRFToken}}">
|
||||||
<input type="file" name="file" accept=".xlsx" required>
|
<input type="file" name="file" accept=".xlsx" required>
|
||||||
<button type="submit">导入 Excel</button>
|
<button type="submit">导入 Excel</button>
|
||||||
</form>
|
</form>
|
||||||
|
|
||||||
<form class="inline" method="post" action="/shopee/collect">
|
<form class="inline" method="post" action="/shopee/collect">
|
||||||
|
<input type="hidden" name="csrf_token" value="{{.CSRFToken}}">
|
||||||
<button type="submit" data-need-checked>批量采集</button>
|
<button type="submit" data-need-checked>批量采集</button>
|
||||||
</form>
|
</form>
|
||||||
|
|
||||||
@@ -20,6 +22,7 @@
|
|||||||
|
|
||||||
<form class="inline" method="post" action="/shopee/delete"
|
<form class="inline" method="post" action="/shopee/delete"
|
||||||
data-confirm-delete>
|
data-confirm-delete>
|
||||||
|
<input type="hidden" name="csrf_token" value="{{.CSRFToken}}">
|
||||||
<button type="submit" class="danger" data-need-checked>删除</button>
|
<button type="submit" class="danger" data-need-checked>删除</button>
|
||||||
</form>
|
</form>
|
||||||
</div>
|
</div>
|
||||||
|
|||||||
@@ -3,10 +3,12 @@
|
|||||||
|
|
||||||
<div class="toolbar">
|
<div class="toolbar">
|
||||||
<form class="inline" method="post" action="/syb/sync">
|
<form class="inline" method="post" action="/syb/sync">
|
||||||
|
<input type="hidden" name="csrf_token" value="{{.CSRFToken}}">
|
||||||
<button type="submit">同步</button>
|
<button type="submit">同步</button>
|
||||||
</form>
|
</form>
|
||||||
|
|
||||||
<form class="inline" method="post" action="/syb/create-task">
|
<form class="inline" method="post" action="/syb/create-task">
|
||||||
|
<input type="hidden" name="csrf_token" value="{{.CSRFToken}}">
|
||||||
<button type="submit" data-need-checked>创建采购任务</button>
|
<button type="submit" data-need-checked>创建采购任务</button>
|
||||||
</form>
|
</form>
|
||||||
|
|
||||||
@@ -17,6 +19,7 @@
|
|||||||
</form>
|
</form>
|
||||||
|
|
||||||
<form class="inline" method="post" action="/syb/delete" data-confirm-delete>
|
<form class="inline" method="post" action="/syb/delete" data-confirm-delete>
|
||||||
|
<input type="hidden" name="csrf_token" value="{{.CSRFToken}}">
|
||||||
<button type="submit" class="danger" data-need-checked>删除</button>
|
<button type="submit" class="danger" data-need-checked>删除</button>
|
||||||
</form>
|
</form>
|
||||||
</div>
|
</div>
|
||||||
|
|||||||
@@ -9,6 +9,7 @@
|
|||||||
</form>
|
</form>
|
||||||
|
|
||||||
<form class="inline" method="post" action="/tasks/delete" data-confirm-delete>
|
<form class="inline" method="post" action="/tasks/delete" data-confirm-delete>
|
||||||
|
<input type="hidden" name="csrf_token" value="{{.CSRFToken}}">
|
||||||
<button type="submit" class="danger" data-need-checked>删除</button>
|
<button type="submit" class="danger" data-need-checked>删除</button>
|
||||||
</form>
|
</form>
|
||||||
</div>
|
</div>
|
||||||
|
|||||||
@@ -19,20 +19,58 @@
|
|||||||
|
|
||||||
## 2. 建库与迁移
|
## 2. 建库与迁移
|
||||||
|
|
||||||
每次打开连接至少设置:
|
### 2.1 PRAGMA 必须写在 DSN 里
|
||||||
|
|
||||||
```sql
|
`[必须]` 三条设置通过**连接串**传入,**不要**用 `db.Exec("PRAGMA ...")`:
|
||||||
PRAGMA foreign_keys = ON;
|
|
||||||
PRAGMA journal_mode = WAL;
|
```go
|
||||||
PRAGMA busy_timeout = 5000;
|
dsn := "file:" + path +
|
||||||
|
"?_pragma=busy_timeout(5000)" +
|
||||||
|
"&_pragma=journal_mode(WAL)" +
|
||||||
|
"&_pragma=foreign_keys(1)"
|
||||||
|
db, _ := sql.Open("sqlite", dsn)
|
||||||
```
|
```
|
||||||
|
|
||||||
|
| 设置 | 作用 |
|
||||||
|
|---|---|
|
||||||
|
| `busy_timeout(5000)` | 拿不到锁时最多等 5 秒,而不是立刻报错 |
|
||||||
|
| `journal_mode(WAL)` | 读和写可以同时进行,不互相锁死 |
|
||||||
|
| `foreign_keys(1)` | 打开外键约束(SQLite 默认是**关**的) |
|
||||||
|
|
||||||
|
**为什么不能用 `db.Exec`:** Go 的 `database/sql` 是一个**连接池**。
|
||||||
|
`db.Exec("PRAGMA busy_timeout=5000")` 只作用于当时拿到的那一条连接,
|
||||||
|
池子后来新开的连接**完全没执行过**这些 PRAGMA。
|
||||||
|
并发写的时候,没有 `busy_timeout` 的那些连接会直接报
|
||||||
|
`database is locked (SQLITE_BUSY)`,而不是等锁释放。
|
||||||
|
|
||||||
|
这个坑在开发时不容易发现——单线程跑一切正常,一并发就炸。
|
||||||
|
本项目的并发领取测试就是被它绊倒过一次。
|
||||||
|
|
||||||
|
`[建议]` 同时限制连接数:
|
||||||
|
|
||||||
|
```go
|
||||||
|
db.SetMaxOpenConns(4)
|
||||||
|
db.SetMaxIdleConns(4)
|
||||||
|
```
|
||||||
|
|
||||||
|
SQLite 同一时刻只允许一个写事务,连接放太开会互相抢锁、把 `busy_timeout` 耗光。
|
||||||
|
**不要设成 1**——那样在一个事务里再调用需要连接的代码会死锁。
|
||||||
|
|
||||||
|
### 2.2 迁移
|
||||||
|
|
||||||
用 `PRAGMA user_version` 管理顺序迁移。
|
用 `PRAGMA user_version` 管理顺序迁移。
|
||||||
|
|
||||||
|
`[必须]` 迁移语句**一条一执行**,不要把多条 SQL 塞进一个字符串——
|
||||||
|
`database/sql` 的 `Exec` 对"一次执行多条语句"的支持因驱动而异,
|
||||||
|
拆开最稳妥,报错还能精确到第几条。
|
||||||
|
|
||||||
`[必须]` 升级必须支持从所有已发布版本迁移,**不得在启动时删库重建**。
|
`[必须]` 升级必须支持从所有已发布版本迁移,**不得在启动时删库重建**。
|
||||||
理由:`data/` 在升级时是保留的(见 [02](02-architecture.md) §6),
|
理由:`data/` 在升级时是保留的(见 [02](02-architecture.md) §6),
|
||||||
里面有人工填了几个月的 PDD 链接和 SKU 映射,删掉就没了。
|
里面有人工填了几个月的 PDD 链接和 SKU 映射,删掉就没了。
|
||||||
|
|
||||||
|
`[必须]` 加新版本时**只能往末尾追加** `migrations`,不许改动已有元素——
|
||||||
|
已经发布出去的库是按旧语句建的,改了会导致新旧库结构不一致。
|
||||||
|
|
||||||
## 3. 蝦皮数据
|
## 3. 蝦皮数据
|
||||||
|
|
||||||
蝦皮报表**一个文件里混了两层数据**,所以拆成两张表。
|
蝦皮报表**一个文件里混了两层数据**,所以拆成两张表。
|
||||||
|
|||||||
@@ -103,11 +103,18 @@ X-Client-Id: client-001 ← 序列号,主键
|
|||||||
|
|
||||||
```text
|
```text
|
||||||
upsert clients:
|
upsert clients:
|
||||||
没有该 client_id → 新增,name 用上报的(没有就用 client_id)
|
没有该 client_id → 新增,name 用上报的(没有就用 client_id 兜底)
|
||||||
已有 → 更新 device / capabilities / last_seen_at
|
已有 → 更新 device / capabilities / last_seen_at
|
||||||
name 若已被人工改过,不要覆盖
|
**name 不更新**
|
||||||
```
|
```
|
||||||
|
|
||||||
|
`[必须]` `name` **只在第一次注册时写入,之后的 claim 一律不更新它**。
|
||||||
|
|
||||||
|
这样操作员在界面上改成好记的名字("仓库那台")之后,
|
||||||
|
客户端每次 claim 都不会把它覆盖回上报的默认名。
|
||||||
|
实现上就是 `ON CONFLICT ... DO UPDATE SET` 里**不包含 `name`**,
|
||||||
|
不需要额外加"是否人工改过"的标记列。
|
||||||
|
|
||||||
`[必须]` `result` 和 `failure` 接口**也要刷新 `last_seen_at`**。
|
`[必须]` `result` 和 `failure` 接口**也要刷新 `last_seen_at`**。
|
||||||
否则客户端执行长任务期间不调 claim,会被误判成离线。
|
否则客户端执行长任务期间不调 claim,会被误判成离线。
|
||||||
|
|
||||||
|
|||||||
Reference in New Issue
Block a user