feat: PDD 商品页面 (#18)
打通 Client↔Admin 闭环的一环：录入 PDD 链接 → 创建采集任务 → 客户端领走去采 → 规格和价格显示在页面上。#16 写的 MarkCollecting 和 SoftDeletePddProduct 至此才有生产调用方。 链接解析严格、不做容错兜底：goods_id 上有 UNIQUE 约束，防重全靠它。 猜一个的话同一商品会存成好几行、采好几遍，规格映射还说不清指向哪一行。 短链一律拒绝，卡域名是为了拦"粘了淘宝链接"这种失误。 创建采集任务先占状态再建任务：MarkCollecting 只在 pending/failed 时成功， 同时充当"有没有人已经在采"的判断，与建任务在同一事务里， 所以并发点多次只会建出一个任务（实测 4 并发 → 1 条）。 submit.go 的 collectedData 增加 Dimensions —— 没有它就只能按 Go 的 map 遍历，而 map 无序，同一商品每次刷新"颜色/尺码"的先后都可能变。 顺带修 #16 一处缺陷：EnsurePddProduct 复活分支清空了 skus_json 却漏了 title，导致复活后状态显示"未采集"但标题还留着旧值。 审查打回一次：清理"PDD 链接唯一的录入口"这一过期说法（全库 5 处）， 以及 shopee.go 里"空 → no_link"的过期 TODO —— no_link 已在 #16 从 CHECK 约束删除，照写会直接撞约束。 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
chengma
+210
-20
@@ -3,10 +3,48 @@ package repository
|
||||
import (
|
||||
"database/sql"
|
||||
"fmt"
|
||||
"strings"
|
||||
|
||||
"cmautobuy/admin/model"
|
||||
)
|
||||
|
||||
// pddColumns 是所有查询共用的列清单。
|
||||
// 写成常量是为了让下面几个查询的列顺序和 scanPddProduct 永远对得上——
|
||||
// 改列的时候只改这一处，改漏了会 Scan 到错的字段上，而且不报错。
|
||||
const pddColumns = `id, goods_id, url, title, skus_json,
|
||||
collect_status, collect_msg, artifact_ref, collected_at,
|
||||
deleted_at, created_at, updated_at`
|
||||
|
||||
// rowScanner 让 *sql.Row 和 *sql.Rows 都能喂给 scanPddProduct。
|
||||
type rowScanner interface {
|
||||
Scan(dest ...any) error
|
||||
}
|
||||
|
||||
// scanPddProduct 按 pddColumns 的顺序读一行。
|
||||
func scanPddProduct(s rowScanner, extra ...any) (*model.PddProduct, error) {
|
||||
var p model.PddProduct
|
||||
var title, skus, msg, artifact, collectedAt, deletedAt sql.NullString
|
||||
|
||||
dest := []any{
|
||||
&p.ID, &p.GoodsID, &p.URL, &title, &skus,
|
||||
&p.CollectStatus, &msg, &artifact, &collectedAt,
|
||||
&deletedAt, &p.CreatedAt, &p.UpdatedAt,
|
||||
}
|
||||
dest = append(dest, extra...)
|
||||
|
||||
if err := s.Scan(dest...); err != nil {
|
||||
return nil, err
|
||||
}
|
||||
|
||||
p.Title = title.String
|
||||
p.SkusJSON = skus.String
|
||||
p.CollectMsg = msg.String
|
||||
p.ArtifactRef = artifact.String
|
||||
p.CollectedAt = collectedAt.String
|
||||
p.DeletedAt = deletedAt.String
|
||||
return &p, nil
|
||||
}
|
||||
|
||||
// EnsurePddProduct 保证 goods_id 对应的 PDD 商品存在，返回它。
|
||||
//
|
||||
// 操作员在货运单或蝦皮商品上填 PDD 链接、点保存时调它。三种情况：
|
||||
@@ -51,11 +89,15 @@ func EnsurePddProduct(q Execer, goodsID, url string) (*model.PddProduct, error)
|
||||
if existing.IsDeleted() {
|
||||
// 复活：清掉删除标记，状态回到待采集。
|
||||
// 采集结果一并清空——记录被删过一次，旧数据不能再当成有效的用。
|
||||
//
|
||||
// title 也要清：它是**采集回来的**（SetCollectResult 写的），
|
||||
// 属于采集结果的一部分。留着的话状态显示"未采集"、标题却有值，
|
||||
// 操作员会以为已经采过了。
|
||||
_, err := q.Exec(`
|
||||
UPDATE pdd_products
|
||||
SET deleted_at = NULL, url = ?, collect_status = 'pending',
|
||||
skus_json = NULL, collect_msg = NULL, artifact_ref = NULL,
|
||||
collected_at = NULL, updated_at = ?
|
||||
title = NULL, skus_json = NULL, collect_msg = NULL,
|
||||
artifact_ref = NULL, collected_at = NULL, updated_at = ?
|
||||
WHERE goods_id = ?`,
|
||||
url, now, goodsID)
|
||||
if err != nil {
|
||||
@@ -82,31 +124,179 @@ func EnsurePddProduct(q Execer, goodsID, url string) (*model.PddProduct, error)
|
||||
// 之所以连删除的也查出来，是因为 EnsurePddProduct 要靠它判断该不该复活。
|
||||
// 给界面用的查询请用 ListPddProducts，那个会过滤掉已删除的。
|
||||
func GetPddProductByGoodsID(q Execer, goodsID string) (*model.PddProduct, error) {
|
||||
var p model.PddProduct
|
||||
var title, skus, msg, artifact, collectedAt, deletedAt sql.NullString
|
||||
|
||||
err := q.QueryRow(`
|
||||
SELECT id, goods_id, url, title, skus_json,
|
||||
collect_status, collect_msg, artifact_ref, collected_at,
|
||||
deleted_at, created_at, updated_at
|
||||
FROM pdd_products WHERE goods_id = ?`, goodsID).Scan(
|
||||
&p.ID, &p.GoodsID, &p.URL, &title, &skus,
|
||||
&p.CollectStatus, &msg, &artifact, &collectedAt,
|
||||
&deletedAt, &p.CreatedAt, &p.UpdatedAt)
|
||||
p, err := scanPddProduct(q.QueryRow(
|
||||
`SELECT `+pddColumns+` FROM pdd_products WHERE goods_id = ?`, goodsID))
|
||||
if err == sql.ErrNoRows {
|
||||
return nil, nil
|
||||
}
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("查询 PDD 商品 %s 失败: %w", goodsID, err)
|
||||
}
|
||||
return p, nil
|
||||
}
|
||||
|
||||
p.Title = title.String
|
||||
p.SkusJSON = skus.String
|
||||
p.CollectMsg = msg.String
|
||||
p.ArtifactRef = artifact.String
|
||||
p.CollectedAt = collectedAt.String
|
||||
p.DeletedAt = deletedAt.String
|
||||
return &p, nil
|
||||
// GetPddProductByID 按主键查一条，**已软删除的查不到**。
|
||||
//
|
||||
// 弹窗用的是这个，不是 GetPddProductByGoodsID —— 后者连删掉的也返回，
|
||||
// 那是给 EnsurePddProduct 判断复活用的，不能拿来渲染界面。
|
||||
func GetPddProductByID(q Execer, id int64) (*model.PddProduct, error) {
|
||||
p, err := scanPddProduct(q.QueryRow(
|
||||
`SELECT `+pddColumns+`
|
||||
FROM pdd_products WHERE id = ? AND deleted_at IS NULL`, id))
|
||||
if err == sql.ErrNoRows {
|
||||
return nil, nil
|
||||
}
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("查询 PDD 商品 #%d 失败: %w", id, err)
|
||||
}
|
||||
return p, nil
|
||||
}
|
||||
|
||||
// PddProductRow 是列表页要的一行：商品本身，外加数据库算好的规格数。
|
||||
type PddProductRow struct {
|
||||
model.PddProduct
|
||||
// SkuCount 是 skus_json 里的规格条数。
|
||||
// **-1 表示"还没有采集结果"**，和"采到 0 个规格"是两回事：
|
||||
// 前者显示 —，后者是采集出了问题，要显示 0 让操作员看见。
|
||||
SkuCount int
|
||||
}
|
||||
|
||||
// 规格数交给 SQLite 算，不要把整个 skus_json 读进 Go 再数——
|
||||
// 列表页几十上百行，每行都反序列化一遍纯属浪费。
|
||||
//
|
||||
// json_valid 那层判断不能省：skus_json 万一存进了坏数据，
|
||||
// json_array_length 会让**整条查询报错**，页面直接打不开。
|
||||
const pddSkuCountExpr = `
|
||||
CASE WHEN skus_json IS NULL OR skus_json = '' OR NOT json_valid(skus_json)
|
||||
THEN -1
|
||||
ELSE COALESCE(json_array_length(skus_json, '$.skus'), -1)
|
||||
END`
|
||||
|
||||
// ListPddProducts 查列表。keyword 匹配 goods_id 或链接，status 为空表示不筛选。
|
||||
//
|
||||
// 只返回未删除的。软删除的记录还在库里（sku_mappings 指着它），
|
||||
// 但界面上不该看见。
|
||||
func ListPddProducts(q Execer, keyword string, status model.CollectStatus) ([]PddProductRow, error) {
|
||||
sqlText := `SELECT ` + pddColumns + `,` + pddSkuCountExpr + `
|
||||
FROM pdd_products
|
||||
WHERE deleted_at IS NULL`
|
||||
var args []any
|
||||
|
||||
if keyword = strings.TrimSpace(keyword); keyword != "" {
|
||||
// ESCAPE 不能省：操作员搜 "_" 时，LIKE 会把它当"任意一个字符"，
|
||||
// 结果是全部行都命中，看着像搜索坏了。
|
||||
pattern := "%" + escapeLike(keyword) + "%"
|
||||
sqlText += ` AND (goods_id LIKE ? ESCAPE '\' OR url LIKE ? ESCAPE '\')`
|
||||
args = append(args, pattern, pattern)
|
||||
}
|
||||
if status != "" {
|
||||
sqlText += ` AND collect_status = ?`
|
||||
args = append(args, string(status))
|
||||
}
|
||||
// 刚动过的排前面，操作员点完"创建采集任务"一眼能看到结果
|
||||
sqlText += ` ORDER BY updated_at DESC, id DESC`
|
||||
|
||||
rows, err := q.Query(sqlText, args...)
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("查询 PDD 商品列表失败: %w", err)
|
||||
}
|
||||
defer rows.Close()
|
||||
|
||||
list := make([]PddProductRow, 0, 16)
|
||||
for rows.Next() {
|
||||
var r PddProductRow
|
||||
p, err := scanPddProduct(rows, &r.SkuCount)
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("读取 PDD 商品列表失败: %w", err)
|
||||
}
|
||||
r.PddProduct = *p
|
||||
list = append(list, r)
|
||||
}
|
||||
return list, rows.Err()
|
||||
}
|
||||
|
||||
// escapeLike 把 LIKE 的三个特殊字符转义掉，配合 ESCAPE '\' 使用。
|
||||
// 反斜杠必须第一个换，否则会把后面刚加的反斜杠又转义一遍。
|
||||
func escapeLike(s string) string {
|
||||
s = strings.ReplaceAll(s, `\`, `\\`)
|
||||
s = strings.ReplaceAll(s, `%`, `\%`)
|
||||
s = strings.ReplaceAll(s, `_`, `\_`)
|
||||
return s
|
||||
}
|
||||
|
||||
// CountPddProductsByStatus 统计各采集状态各有多少条，供底部状态条显示。
|
||||
//
|
||||
// 统计的是**全部未删除记录**，不受当前筛选影响——
|
||||
// 状态条是全局概览，"总共还有几个没采"这个数不该跟着筛选变。
|
||||
func CountPddProductsByStatus(q Execer) (map[model.CollectStatus]int, error) {
|
||||
rows, err := q.Query(`
|
||||
SELECT collect_status, COUNT(*)
|
||||
FROM pdd_products
|
||||
WHERE deleted_at IS NULL
|
||||
GROUP BY collect_status`)
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("统计 PDD 商品状态失败: %w", err)
|
||||
}
|
||||
defer rows.Close()
|
||||
|
||||
counts := map[model.CollectStatus]int{}
|
||||
for rows.Next() {
|
||||
var status string
|
||||
var n int
|
||||
if err := rows.Scan(&status, &n); err != nil {
|
||||
return nil, err
|
||||
}
|
||||
counts[model.CollectStatus(status)] = n
|
||||
}
|
||||
return counts, rows.Err()
|
||||
}
|
||||
|
||||
// UpdatePddProductURL 只改链接原文，不动采集结果和状态。
|
||||
//
|
||||
// 调用方必须先确认新链接解析出来的 goods_id 和这条记录的一致，
|
||||
// 见 service.UpdatePddProductURL 的说明。
|
||||
func UpdatePddProductURL(q Execer, id int64, url string) error {
|
||||
if url == "" {
|
||||
return fmt.Errorf("url 不能为空")
|
||||
}
|
||||
res, err := q.Exec(`
|
||||
UPDATE pdd_products SET url = ?, updated_at = ?
|
||||
WHERE id = ? AND deleted_at IS NULL`,
|
||||
url, model.NowISO(), id)
|
||||
if err != nil {
|
||||
return fmt.Errorf("更新 PDD 商品 #%d 链接失败: %w", id, err)
|
||||
}
|
||||
if n, _ := res.RowsAffected(); n == 0 {
|
||||
return fmt.Errorf("PDD 商品 #%d 不存在或已被删除", id)
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// SoftDeletePddProducts 批量软删除，返回实际删掉的条数。
|
||||
//
|
||||
// 已经删过的不会重复计数（WHERE 里带了 deleted_at IS NULL），
|
||||
// 所以返回值就是"这次真正消失的行数"，可以直接报给操作员。
|
||||
func SoftDeletePddProducts(q Execer, goodsIDs []string) (int64, error) {
|
||||
if len(goodsIDs) == 0 {
|
||||
return 0, nil
|
||||
}
|
||||
// 占位符按数量生成，值仍然是参数化传入，不存在注入
|
||||
placeholders := strings.TrimSuffix(strings.Repeat("?,", len(goodsIDs)), ",")
|
||||
now := model.NowISO()
|
||||
|
||||
args := make([]any, 0, len(goodsIDs)+2)
|
||||
args = append(args, now, now)
|
||||
for _, id := range goodsIDs {
|
||||
args = append(args, id)
|
||||
}
|
||||
|
||||
res, err := q.Exec(`
|
||||
UPDATE pdd_products SET deleted_at = ?, updated_at = ?
|
||||
WHERE goods_id IN (`+placeholders+`) AND deleted_at IS NULL`, args...)
|
||||
if err != nil {
|
||||
return 0, fmt.Errorf("批量删除 PDD 商品失败: %w", err)
|
||||
}
|
||||
return res.RowsAffected()
|
||||
}
|
||||
|
||||
// SetCollectResult 保存采集回来的 PDD 商品数据。
|
||||
|
||||
Reference in New Issue
Block a user