diff --git a/app/ai.py b/app/ai.py index 8cc7671..5e485a4 100644 --- a/app/ai.py +++ b/app/ai.py @@ -7,7 +7,10 @@ import copy import json import mimetypes import os +import shutil import socket +import subprocess +import tempfile import threading import time import urllib.error @@ -973,6 +976,8 @@ def _request_cmhub_cover_image( "out_path": out_path, "resolution": resolution, "quality": quality, + "use_system_proxy": runtime["use_system_proxy"], + "download_with_curl": runtime["download_with_curl"], } @@ -988,6 +993,8 @@ def _download_and_save_cmhub_cover(request_result, on_step=None): image_url, connect_timeout=connect_timeout, read_timeout=read_timeout, + use_system_proxy=request_result.get("use_system_proxy", False), + download_with_curl=request_result.get("download_with_curl", "false"), on_step=on_step, ) _notify_step_event( @@ -1034,6 +1041,7 @@ def _cmhub_runtime(config, operation, cmhub_config_path): "alias": hub[alias_key], "connect_timeout": max(1, int(hub.get("connect_timeout", 10) or 10)), "use_system_proxy": use_system_proxy, + "download_with_curl": str(hub.get("download_with_curl", "auto") or "auto"), } @@ -1075,6 +1083,8 @@ def _download_cmhub_image_with_retry( url, connect_timeout, read_timeout, + use_system_proxy=False, + download_with_curl="false", on_step=None, attempts=CMHUB_IMAGE_DOWNLOAD_ATTEMPTS, slow_threshold=CMHUB_IMAGE_SLOW_DOWNLOAD_SECONDS, @@ -1088,6 +1098,8 @@ def _download_cmhub_image_with_retry( url, connect_timeout=connect_timeout, read_timeout=read_timeout, + use_system_proxy=use_system_proxy, + download_with_curl=download_with_curl, ) elapsed = time.perf_counter() - total_started if elapsed >= float(slow_threshold or 0): @@ -1346,8 +1358,35 @@ def _format_bytes(size): return "%.1f%s" % (value, unit) -def _download_cmhub_image(url, connect_timeout, read_timeout, max_bytes=CMHUB_IMAGE_MAX_BYTES): +def _download_cmhub_image( + url, + connect_timeout, + read_timeout, + max_bytes=CMHUB_IMAGE_MAX_BYTES, + use_system_proxy=False, + download_with_curl="false", +): _assert_public_http_url(url) + if _should_use_curl_for_cmhub_download(download_with_curl): + try: + return _download_cmhub_image_with_curl( + url, + connect_timeout=connect_timeout, + read_timeout=read_timeout, + max_bytes=max_bytes, + use_system_proxy=use_system_proxy, + ) + except AIError: + pass + return _download_cmhub_image_with_requests( + url, + connect_timeout=connect_timeout, + read_timeout=read_timeout, + max_bytes=max_bytes, + ) + + +def _download_cmhub_image_with_requests(url, connect_timeout, read_timeout, max_bytes): try: response = _cmhub_session().get( url, @@ -1372,6 +1411,119 @@ def _download_cmhub_image(url, connect_timeout, read_timeout, max_bytes=CMHUB_IM return b"".join(chunks) +def _should_use_curl_for_cmhub_download(mode): + normalized = _normalize_curl_download_mode(mode) + if normalized == "false": + return False + if normalized == "auto" and os.name != "nt": + return False + return bool(_find_system_curl()) + + +def _normalize_curl_download_mode(mode): + if isinstance(mode, bool): + return "true" if mode else "false" + normalized = str(mode or "auto").strip().lower() + if normalized in {"auto", "true", "false"}: + return normalized + return "auto" + + +def _find_system_curl(): + candidates = [] + if os.name == "nt": + system_root = os.environ.get("SystemRoot") or r"C:\Windows" + candidates.append(os.path.join(system_root, "System32", "curl.exe")) + discovered = shutil.which("curl") + if discovered: + candidates.append(discovered) + seen = set() + for candidate in candidates: + if not candidate: + continue + path = os.path.abspath(candidate) + lowered = path.lower() + if lowered in seen: + continue + seen.add(lowered) + if os.path.isfile(path): + return path + return "" + + +def _download_cmhub_image_with_curl( + url, + connect_timeout, + read_timeout, + max_bytes, + use_system_proxy=False, +): + curl_path = _find_system_curl() + if not curl_path: + raise AIError("下载 cmhub 图片失败: 未找到系统 curl") + temp_config_path = None + temp_output_path = None + try: + with tempfile.NamedTemporaryFile( + "w", + encoding="utf-8", + suffix=".curlrc", + delete=False, + ) as config_file: + temp_config_path = config_file.name + config_file.write("url = %s\n" % _curl_config_quote(url)) + with tempfile.NamedTemporaryFile("wb", suffix=".img", delete=False) as output_file: + temp_output_path = output_file.name + args = [ + curl_path, + "-K", + temp_config_path, + "--fail", + "--silent", + "--show-error", + "--connect-timeout", + str(max(1, int(connect_timeout))), + "--max-time", + str(max(1, int(read_timeout))), + "--max-filesize", + str(max(1, int(max_bytes))), + "--output", + temp_output_path, + ] + if not bool(use_system_proxy): + args.extend(["--noproxy", "*"]) + try: + completed = subprocess.run( + args, + stdout=subprocess.PIPE, + stderr=subprocess.PIPE, + timeout=max(2, int(connect_timeout) + int(read_timeout) + 10), + check=False, + shell=False, + ) + except (OSError, subprocess.TimeoutExpired) as exc: + raise AIError("下载 cmhub 图片失败: curl 执行失败") from exc + if completed.returncode != 0: + raise AIError("下载 cmhub 图片失败: curl 退出码 %s" % completed.returncode) + size = os.path.getsize(temp_output_path) + if size > max_bytes: + raise AIError("下载 cmhub 图片失败: 图片超过大小上限") + with open(temp_output_path, "rb") as fh: + return fh.read() + finally: + for path in (temp_config_path, temp_output_path): + if path: + try: + os.remove(path) + except OSError: + pass + + +def _curl_config_quote(value): + text = str(value or "") + return '"' + text.replace("\\", "\\\\").replace('"', '\\"') + '"' + + def _assert_public_http_url(url): parts = urllib.parse.urlsplit(str(url or "")) if parts.scheme not in {"http", "https"}: diff --git a/app/appconfig.py b/app/appconfig.py index 9bee13e..13f5aec 100644 --- a/app/appconfig.py +++ b/app/appconfig.py @@ -83,6 +83,7 @@ DEFAULT_CONFIG = { "image_alias": "", "connect_timeout": 10, "use_system_proxy": False, + "download_with_curl": "auto", "check_balance_before_batch": False, }, "title_concurrency": 4, @@ -375,6 +376,9 @@ def _normalize_config_values(config): cmhub = ai.get("cmhub") if isinstance(cmhub, dict): cmhub["base_url"] = normalize_cmhub_base_url(cmhub.get("base_url", "")) + cmhub["download_with_curl"] = _normalize_cmhub_download_with_curl( + cmhub.get("download_with_curl", "auto") + ) return config @@ -386,6 +390,15 @@ def _clamp_int(value, minimum, maximum, default): return min(int(maximum), max(int(minimum), number)) +def _normalize_cmhub_download_with_curl(value): + if isinstance(value, bool): + return "true" if value else "false" + text = str(value or "auto").strip().lower() + if text in {"auto", "true", "false"}: + return text + return "auto" + + def _assert_no_secrets(config): def visit(value, path): if isinstance(value, dict): @@ -621,6 +634,9 @@ def cmhub_config(config=None) -> dict: merged["title_alias"] = str(merged.get("title_alias", "") or "").strip() merged["image_alias"] = str(merged.get("image_alias", "") or "").strip() merged["connect_timeout"] = int(merged.get("connect_timeout", 10) or 10) + merged["download_with_curl"] = _normalize_cmhub_download_with_curl( + merged.get("download_with_curl", "auto") + ) merged["check_balance_before_batch"] = bool(merged.get("check_balance_before_batch", False)) if merged["connect_timeout"] <= 0: raise ConfigError("ai.cmhub.connect_timeout 必须大于 0") diff --git a/docs/04-architecture.md b/docs/04-architecture.md index 5a6de88..f1386bd 100644 --- a/docs/04-architecture.md +++ b/docs/04-architecture.md @@ -403,6 +403,7 @@ data/images///__new. # AI 生成的新 2. **若②勾选「生成封面图片（成本较高）」**：接着并发生成图片，线程池大小 = `image_concurrency`，调 `gen_cover(封面提示词, old_cover_path, resolution, jpg_quality)` → 新图存 `data/images///__new.jpg`。默认 `backend=cmhub`，调用 `POST /api/v1/generate/image`，拿 `image_url` 后立即安全下载并转本地 JPEG；`backend=direct` 仅内部兼容时使用 `default_image_model`。 - T-545 已实现：cmhub 模式下不再直接按用户填写的 `image_concurrency` 全量打到网关；实际生图请求并发 = `min(image_concurrency, 5)`。拿到 `image_url` 后交给独立下载/保存线程池，下载线程数量与实际生图请求并发一致，同样最大 5。这样批量时“下一批生图请求”和“上一批图片下载/保存”可以流水线并行，但不会对 cmhub 生图接口或 `/media/generated/images/*.png` 静态下载打出超过 5 的并发。direct 兼容路径暂不改变。 - cmhub 生图连接超时取 `ai.cmhub.connect_timeout`；生图请求和随后 `image_url` 下载的读取等待统一固定 650 秒，读超时不自动重发，避免重复扣点。下载层最多安全重试 3 次，只复用同一个 `image_url`，不重新请求 cmhub 生图；下载总耗时超过 20 秒时写“图片下载较慢”警告。`backend=direct` 兼容路径仍按模型 `timeout_seconds` 或 `resolution_timeouts[resolution]`（512→180/1k→240/2k→360/4k→600）取返回超时。 + - T-548 已实现：cmhub 图片下载后端新增 `ai.cmhub.download_with_curl`（`auto`/`true`/`false`，默认 `auto`）。Windows 且检测到系统 curl 时优先用 curl 下载，否则或 curl 执行失败时回退 requests；生成、models、balance 仍走共享 requests Session。curl 下载前仍执行公网 URL 校验；URL 写入临时 curl 配置文件并通过 `-K` 传入，避免带 token 的 `image_url` 出现在进程命令行；`use_system_proxy=false` 时 curl 加 `--noproxy "*"`。 - cmhub 返回的完整 `image_url` 默认只在内存中临时用于下载，不写入 `tasks` 或 `run_log_events`。本机调试时可设置环境变量 `CMSHOPEE_DEBUG_CMHUB_IMAGE_URL=1`，②本轮可见运行日志会显示脱敏后的 URL 调试行，且该行不持久化到 SQLite。 3. **若未勾选生成封面**：标题成功后立即写 `new_title`，`new_cover_path=NULL`，不渲染封面提示词、不调用 `gen_cover()`、不创建本地新封面文件。 diff --git a/docs/06-tasks.md b/docs/06-tasks.md index ba39b6d..4eba118 100644 --- a/docs/06-tasks.md +++ b/docs/06-tasks.md @@ -138,7 +138,7 @@ | T-545 | ② cmhub 生图和下载并发上限 5 + 独立下载线程池 | T-535, T-533, T-519 | 背景：实测 10 图片并发时，cmhub 后台单条生成小于 200 秒，但本地下载 `/media/generated/images/*.png` 常见 24~185 秒且有连接失败；如果每个生图线程同时负责“等待 cmhub 返回 + 下载 + 转 JPEG + 保存”，下载慢会占住生图线程，后续任务排队。方案：cmhub 模式下实际生图请求并发 = `min(ai.image_concurrency, 5)`；拿到 `image_url` 后把下载/转 JPEG/保存交给独立下载线程池，下载线程数与实际生图请求并发一致、同样最大 5；不新增用户可见配置项，⑤仍只保留「图片并发」。②开始日志必须显示用户设置图片并发、cmhub 实际生图并发和下载并发；分段日志继续记录“cmhub 已返回 image_url / 下载完成 / 本地保存完成”的耗时。下载失败按当前任务失败记录，但不得重新调用 cmhub 生图接口导致重复扣点；`cover_done/generated_done` 必须等下载保存成功并写 DB 后才计数；停止逻辑继续取消未开始项，运行中请求/下载允许自然完成或失败。direct 兼容路径暂不改变。补 `tests/test_ai.py` 覆盖并发上限和下载线程池不阻塞后续生图提交、下载失败不重复扣点；补 `tests/test_gui.py` 覆盖开始日志显示实际并发 | DONE | | T-536 | GUI 按钮圆角全局统一 | T-512, T-513, T-523 | 现象：只有③「开始更新」及少数上色按钮（删除批次/删除账号/未匹配(n)）有 `border-radius: 4px`，其余按钮走原生渲染显直角——不一致。根因：圆角是 T-512/T-513 给按钮上色时顺带写进 QSS 的副产品，不是全局形状决策；一旦给 `QPushButton` 设 stylesheet 就放弃原生渲染，才补了 radius/border。方案（**方式 A：全局统一圆角**）：① 在 `app/gui/widgets.py` 抽一个**共享按钮基础样式常量/helper**（统一 `border-radius`，如 4px，与卡片 6px 圆角语言协调），并**接管按钮的全部视觉状态**——normal/hover/pressed/disabled/focus 的背景、边框都定义好，避免全局设 QSS 后按钮变扁平方块、丢 hover 反馈；② 在主窗口/app 级用全局 `QPushButton` QSS 应用该基础样式，让**所有按钮共享同一圆角**；③ warning（`startUpdateButton`）与 danger（`_danger_outline_button_style`：删除批次/删除账号/未匹配）按钮改为**只叠加颜色**，复用共享基础样式的圆角/内边距/状态，不再各自重写 radius/border——杜绝“上色=顺带圆角”的隐性耦合；④ 以 Windows 为主目标做一次视觉自测（hover/按下/禁用不劣于原生）。只改 GUI 样式层（`widgets.py` + 主窗口全局 QSS + 各上色按钮引用），不改任何按钮的启用/禁用逻辑、行为、业务流程、DB、Excel、Shopee/CDP。GUI 单测至少断言上色按钮仍带各自语义色且不再各自硬写 radius（改为引用共享样式）；圆角外观本身以人工视觉验收为准 | DONE | | T-546 | cmhub 客户端共享 Session + 连接池 + 代理处理（补 T-545 未覆盖的下载慢根因） | T-545, T-526 | 现象：实测生图拿到 `image_url` 后本地下载单条约 191 秒、而同一 URL 用 curl 约 10 秒；日志伴随 `connect_timeout: 连接 cmhub 超时`。T-545 已做「生图并发上限 5 + 独立下载线程池」解决“下载堵住生图槽位”的流水线问题，但**未根治单条下载在并发争抢下变慢**。根因（代码核实）：① cmhub 所有 HTTP（`_cmhub_call_once` 的生成/models/balance、`_download_cmhub_image` 的下载）都是**裸 `requests.get`/`requests.request`、无共享 `Session`**，每个任务全新 TCP+TLS，叠加同步生成长连接（单条 60~260s）与 `connect_timeout` 触发的重试，形成连接风暴/连接饥饿；② `requests` 默认 `trust_env=True` 读 `HTTP(S)_PROXY`/`ALL_PROXY`，若系统带慢代理会拖累，而干净窗口的 curl 直连快。方案：① cmhub 所有 HTTP 统一走一个**模块级共享 `requests.Session`**，挂 `HTTPAdapter(pool_connections/pool_maxsize)`，池大小 ≥（实际生图并发 + 下载并发）以免连接不足排队、复用连接减少握手与 connect_timeout；生成与下载共享该 Session（`requests.Session` 跨线程发请求安全，但连接池要够大）；② 代理处理——诊断日志脱敏记录 cmhub 请求是否经代理；对 cmhub 请求提供明确策略（可配 `trust_env=False` 或显式 `proxies`），避免误走慢代理，默认可先保持读环境但提供关闭开关；③ 复测口径——Session+连接池到位后单条下载耗时应回落到与 curl 同量级；若在 T-545 的并发上限 5 下仍显著慢，评估把 cmhub 生图默认并发再降（1~2）；④ 确认 connect_timeout 重试退避不加剧连接风暴。诊断建议：可先临时把图片并发设 1 复测以区分“并发争抢”与“代理”。边界：只改 `app/ai.py` 的 cmhub HTTP 客户端层（+ 可选 config 代理项）+ 诊断日志 + 相关文档；不改 cmhub 协议、T-545 的并发/下载池语义、生成编排、DB、Excel、CDP/Shopee。测试：`tests/test_ai.py` 覆盖共享 Session 被复用（mock 同一 session 多次调用）、代理配置被尊重、连接池大小设定；现有 cmhub 用例保持绿。落地：`app/ai.py` 加模块级 `_cmhub_session()`（`HTTPAdapter` 池 `CMHUB_HTTP_POOL_SIZE=32`）+ `_apply_cmhub_proxy()`；生成/下载/models/balance 统一走该 Session；`ai.cmhub.use_system_proxy` 默认 `false`（绕过系统代理，公网网关直连），`_cmhub_runtime` 读取并应用、`fetch_cmhub_models/balance` 加同名参数；`test_ai.py` 补 3 项新测试并把原 18 处 `requests` mock 改到共享 Session；243 单测全绿。**待 Windows 实网复测确认下载提速**（troubleshooting 已加「cmhub 图片下载很慢」排障节与代理定位命令） | DONE | -| T-548 | cmhub 图片下载改用系统 curl（Win10+ 自带） | T-546, T-538 | 背景：图片下载慢的另一手段——用 curl（用户的快基准）下载。curl 在 **Windows 10+ 自带**（`C:\Windows\System32\curl.exe`），**无需捆绑**（不用项目里 `wget/` 那个 2022 老 wget，其 OpenSSL 太旧且捆绑二进制易被杀软误报）；应用底线本就是 Win10+（PySide6/Qt6 不支持 Win7）。**前置说明**：若 T-546 的代理绕过已让 requests 下载回落到 curl 同量级，本任务可作可选/降级；此处按用户要求落地。方案：① **只改图片下载这一步**（`app/ai.py` `_download_cmhub_image`），cmhub 生成/models/balance 仍走 requests 共享 Session。② 后端选择：新增 config `ai.cmhub.download_with_curl`（`auto`/`true`/`false`，默认 `auto`=Windows 且检测到 curl 用 curl，否则回退 requests）；`shutil.which("curl")` 或固定 `System32\curl.exe` 检测；**非 Windows / 无 curl / curl 执行失败 → 自动回退现有 requests 下载**（保证 Linux/Mac/CI/无 curl 环境和现有测试不受影响）。③ **安全防护（硬要求）**：a) SSRF 不可绕过——调 curl 前仍执行 `_assert_public_http_url()` 拦内网/回环 IP，用 `subprocess.run([...], shell=False)` 参数列表、不拼 shell；b) token 不泄漏——`image_url` 带 `?token=...`，直接进命令行会出现在进程列表（tasklist）和日志，改用 curl `-K <临时配置文件>`（把 `url = "..."` 写进临时文件传入、用完删）避免 URL 进程列表暴露，日志一律脱敏、不打印完整 URL/命令；c) 绕过代理——按 `use_system_proxy`：false 时加 `--noproxy "*"`（这才是 curl 快的关键，与 T-546 一致），true 时不加。④ 超时/大小：`--connect-timeout ` + `--max-time `；下载到临时文件、读回字节后**仍复用现有 `_save_jpeg` 重编码**；保留 20MB 上限（`--max-filesize` + 落盘后大小复核）。⑤ 重试：沿用现有 `_download_cmhub_image_with_retry`（3 次），只替换内层下载实现；curl 非零退出=失败、走现有重试语义。⑥ 打包：curl 系统自带、不捆绑、不改 spec；`docs/packaging.md` 注明依赖 Win10+ 自带 curl。测试：`tests/test_ai.py` mock `subprocess.run`——断言 curl 参数含 `--noproxy`/超时/`-K` 临时配置（URL 不在 argv）、SSRF 校验先于 curl、curl 失败回退 requests、非 Windows/无 curl 自动回退；现有下载用例保持绿。边界：只改 `_download_cmhub_image` 下载后端 + config 项 + 诊断脱敏 + 打包文档；不改生成/API 调用、`_save_jpeg`、并发/重试语义、DB、Excel、CDP/Shopee | TODO | +| T-548 | cmhub 图片下载改用系统 curl（Win10+ 自带） | T-546, T-538 | 背景：图片下载慢的另一手段——用 curl（用户的快基准）下载。curl 在 **Windows 10+ 自带**（`C:\Windows\System32\curl.exe`），**无需捆绑**（不用项目里 `wget/` 那个 2022 老 wget，其 OpenSSL 太旧且捆绑二进制易被杀软误报）；应用底线本就是 Win10+（PySide6/Qt6 不支持 Win7）。**前置说明**：若 T-546 的代理绕过已让 requests 下载回落到 curl 同量级，本任务可作可选/降级；此处按用户要求落地。方案：① **只改图片下载这一步**（`app/ai.py` `_download_cmhub_image`），cmhub 生成/models/balance 仍走 requests 共享 Session。② 后端选择：新增 config `ai.cmhub.download_with_curl`（`auto`/`true`/`false`，默认 `auto`=Windows 且检测到 curl 用 curl，否则回退 requests）；`shutil.which("curl")` 或固定 `System32\curl.exe` 检测；**非 Windows / 无 curl / curl 执行失败 → 自动回退现有 requests 下载**（保证 Linux/Mac/CI/无 curl 环境和现有测试不受影响）。③ **安全防护（硬要求）**：a) SSRF 不可绕过——调 curl 前仍执行 `_assert_public_http_url()` 拦内网/回环 IP，用 `subprocess.run([...], shell=False)` 参数列表、不拼 shell；b) token 不泄漏——`image_url` 带 `?token=...`，直接进命令行会出现在进程列表（tasklist）和日志，改用 curl `-K <临时配置文件>`（把 `url = "..."` 写进临时文件传入、用完删）避免 URL 进程列表暴露，日志一律脱敏、不打印完整 URL/命令；c) 绕过代理——按 `use_system_proxy`：false 时加 `--noproxy "*"`（这才是 curl 快的关键，与 T-546 一致），true 时不加。④ 超时/大小：`--connect-timeout ` + `--max-time `；下载到临时文件、读回字节后**仍复用现有 `_save_jpeg` 重编码**；保留 20MB 上限（`--max-filesize` + 落盘后大小复核）。⑤ 重试：沿用现有 `_download_cmhub_image_with_retry`（3 次），只替换内层下载实现；curl 非零退出=失败、走现有重试语义。⑥ 打包：curl 系统自带、不捆绑、不改 spec；`docs/packaging.md` 注明依赖 Win10+ 自带 curl。测试：`tests/test_ai.py` mock `subprocess.run`——断言 curl 参数含 `--noproxy`/超时/`-K` 临时配置（URL 不在 argv）、SSRF 校验先于 curl、curl 失败回退 requests、非 Windows/无 curl 自动回退；现有下载用例保持绿。边界：只改 `_download_cmhub_image` 下载后端 + config 项 + 诊断脱敏 + 打包文档；不改生成/API 调用、`_save_jpeg`、并发/重试语义、DB、Excel、CDP/Shopee | DONE | ## Phase 8 · 工程基础设施后续（`docs/engineering-review.md`） diff --git a/docs/api.md b/docs/api.md index 08b2b2a..6bad070 100644 --- a/docs/api.md +++ b/docs/api.md @@ -33,7 +33,7 @@ ai_config(config=None) -> dict # default_text_model/default_image # title_concurrency/image_concurrency/retry/jpg_quality/ # resolution/resolution_timeouts ai_backend(config=None) -> str # 默认 cmhub；direct 仅内部兼容/手工回滚 -cmhub_config(config=None) -> dict # base_url/title_alias/image_alias/connect_timeout +cmhub_config(config=None) -> dict # base_url/title_alias/image_alias/connect_timeout/download_with_curl normalize_cmhub_base_url(base_url) -> str # 规整为 cmhub 网关根：scheme+host(+port) cmhub_request_url(base_url, endpoint) -> str # 先规整 base_url，再拼 /api/v1/... response_timeout(config=None) -> int # = resolution_timeouts[resolution]（返回超时，随分辨率） @@ -313,7 +313,7 @@ fetch_cmhub_models(base_url, api_key, connect_timeout=10, read_timeout=30) -> li - `api_type=chat/auto` 走 OpenAI-compatible chat JSON；`api_type=images_edits` 走 multipart form。 - direct 连接超时参考模型 `connect_timeout_seconds`；**返回超时 = 模型 `timeout_seconds` 或 `appconfig.response_timeout()`（随分辨率：512/1k/2k/4k → 180/240/360/600）**。cmhub 使用 `requests timeout=(connect, read)`，connect 来自 `ai.cmhub.connect_timeout`；cmhub 生文读取等待固定 600s，cmhub 生图请求和图片下载读取等待固定 650s，且生图读超时不自动重发。 - 并发数/重试/分辨率/jpg 质量来自 `appconfig.ai_config()`；标题/图片并发会被夹到 1..5，失败重试次数会被夹到 0..10，兼容旧配置中的超限值；Key 本地明文存储，但不入日志、不导出。cmhub 响应的 `points_cost/points_balance/call_id` 不改变返回值，通过 `on_event` metadata 事件上报，GUI 余额/计费展示留给 T-528。 -- 标题快、图片慢：分两段、各用各自并发数；失败按 `retry` 重试，仍失败记 error 不阻塞其余。cmhub 生图使用内部实际并发 `min(image_concurrency, 5)`，拿到 `image_url` 后交给独立下载/保存线程池，下载线程数与实际生图并发一致且最大 5；下载失败最多安全重试 3 次，只复用同一个 `image_url`，不会重新调用 cmhub 生图接口；下载总耗时超过 20 秒时写“图片下载较慢”警告；direct 兼容路径暂保持原 `image_concurrency` 语义。 +- 标题快、图片慢：分两段、各用各自并发数；失败按 `retry` 重试，仍失败记 error 不阻塞其余。cmhub 生图使用内部实际并发 `min(image_concurrency, 5)`，拿到 `image_url` 后交给独立下载/保存线程池，下载线程数与实际生图并发一致且最大 5；T-548 后图片下载后端由 `ai.cmhub.download_with_curl` 控制，默认 `auto`：Windows 且检测到系统 curl 时优先用 curl 下载，否则回退 requests；curl 失败也会自动回退 requests。下载前仍执行公网 URL 校验，curl 使用 `-K` 临时配置文件传入 URL，不把带 token 的 `image_url` 放进命令行参数；`use_system_proxy=false` 时 curl 加 `--noproxy "*"`。下载失败最多安全重试 3 次，只复用同一个 `image_url`，不会重新调用 cmhub 生图接口；下载总耗时超过 20 秒时写“图片下载较慢”警告；direct 兼容路径暂保持原 `image_concurrency` 语义。 - 调试 cmhub 图片 URL：默认不在日志或 DB 中记录完整 `image_url`。若本机调试需要查看，启动程序前设置环境变量 `CMSHOPEE_DEBUG_CMHUB_IMAGE_URL=1`，②本轮可见运行日志会显示脱敏后的“cmhub 图片 URL”，但该调试行不写入 SQLite `run_log_events`。 - 调用有成本与失败可能：超时、限流、内容安全拒绝都要返回明确错误。 - 生成结果**直接进入 ③ 更新候选**；③ 点击「开始更新」后弹窗批量确认，确认后提交线上。本地留档 + 回写 Excel 供追溯。 diff --git a/docs/cmhub-integration-design.md b/docs/cmhub-integration-design.md index c210ac0..21579f0 100644 --- a/docs/cmhub-integration-design.md +++ b/docs/cmhub-integration-design.md @@ -98,6 +98,7 @@ - **响应**：拿 `image_url` → **新增一步下载**该图字节（cmhub 自家对象存储公网 URL）→ 交给现有 `_save_jpeg(image_bytes, out_path, resolution, quality)` 落盘。下载 helper 必须校验 URL scheme 只允许 `http/https`，拒绝内网/回环/本机地址，并校验域名解析后的 IP 仍不属于内网/回环/本机地址，设置超时和大小上限；生成后**立即下载**（对象存储 URL 可能有有效期）。`points_cost`/`points_balance`/`call_id` 同样通过事件回调传播，不改变 `gen_cover` 返回值。 - **超时（关键）**：生图同步且慢。当前 cmshopee 的 cmhub 生图请求和随后 `image_url` 下载读取等待统一固定 650 秒，不再按分辨率变化，绝不用 30s/60s 调生图——否则客户端超时但服务端仍在算并扣点（见 §4.4 幂等）。 - **并发（T-545 已实现）**：最近实测 `/media/generated/images/*.png` 下载链路在 10 并发下明显慢且有连接失败。cmhub 模式下采用内置保护：实际生图请求并发 = `min(ai.image_concurrency, 5)`；下载/保存使用独立线程池，线程数与实际生图请求并发一致，同样最大 5；不新增用户可见配置项。运行日志必须同时显示用户设置和实际并发，避免用户误解设置 10 就会对 cmhub 打 10 并发。下载失败记为该任务失败，不得重新调用生图接口导致重复扣点；读超时仍按 §4.4 的非幂等规则处理。 +- **下载后端（T-548 已实现）**：cmhub 生成/models/balance 仍走共享 requests Session；仅 `image_url` 图片下载可按 `ai.cmhub.download_with_curl` 选择系统 curl。默认 `auto` 在 Windows 且检测到系统 curl 时优先 curl，非 Windows、无 curl 或 curl 失败自动回退 requests。curl 调用前仍做公网 URL 校验，用 `-K` 临时配置文件传 URL，避免 token 出现在进程命令行；`use_system_proxy=false` 时加 `--noproxy "*"`。 ### 4.4 错误映射与重试策略 diff --git a/docs/current-state.md b/docs/current-state.md index f3f166c..f5bd253 100644 --- a/docs/current-state.md +++ b/docs/current-state.md @@ -13,10 +13,11 @@ - T-543 已完成：左下角状态栏已统一通过 `MainWindow.show_status(message, level)` 显示，按 muted/info/success/warning/danger 区分普通、进行中、成功、需用户处理和失败/阻断；只改状态栏文字色，不替代弹窗、空状态、运行日志或任务状态列。 - T-544 已完成：启动入口在 `appconfig.prepare_data_dir()` 成功后、创建 `MainWindow` 前执行版本检查；服务端明确要求强制升级时弹中文阻断框，只提供「下载新版」和「退出程序」，点击下载会用系统浏览器打开 `download_url` 并退出启动流程。第一版不自动覆盖 exe 或 `_internal/`，不触碰 `data/`；`APP_UPDATE_CHECK_URL` 当前已配置为线上接口 `https://cm.833729.com/api/v1/client/releases/latest?platform=windows`，接口异常仍按失败放行并写诊断日志。 - T-547 已完成：⑤设置页「标题并发数」「图片并发数」用户可选范围收紧为 1..5，「失败重试次数」收紧为 0..10；`app/appconfig.py` 加载/保存旧 `config.json` 或手工配置时会同步夹紧超限值，避免绕过 UI 上限。 +- T-548 已完成：cmhub `image_url` 图片下载新增 `ai.cmhub.download_with_curl` 配置，默认 `auto`；Windows 检测到系统 curl 时优先用 curl 下载，非 Windows、无 curl 或 curl 失败时自动回退 requests，生成/models/balance 仍走共享 requests Session。 - 测试卫生修正：`WriteBackWorker` 的 GUI 单测不再使用相对路径 `db.sqlite`，改为临时目录内 SQLite，避免跑测试后在项目根目录重新生成空 `db.sqlite`。 - 技术栈：正式打包固定 Python 3.10（脚本调用 `py -3.10`），CI 使用 Windows + Python 3.11 自动跑 ruff lint、语法和单元/GUI 测试，根目录 `requirements.txt` 锁定运行依赖，`requirements-dev.txt` 锁定开发检查依赖（ruff），PyInstaller onedir 打包为 Windows 免安装 exe；自研 CDP（websocket-client + requests），SQLite（sqlite3）+ `data/config.json` + openpyxl + AI（默认 cmhub: `data/config.json` 网关配置 + `data/config/cmhub.json` Key；direct: `data/config/ai_models.json` 通用 HTTP 内部兼容），GUI PySide6 5 Tab（已定）。 - 生产代码：已建立 `app/` 包 + 根入口 `main.py`；`app/cdp.py` 为已验证 CDP 底座，已区分 `CDP.close()` 断开 WebSocket 与 `close_tab()` 关闭浏览器 target；`app/editor.py` 已封装登录状态检测、标题/封面/采集/更新按钮能力，打开商品详情页时会安装 toast 捕获并在详情页加载失败时上浮商品失效/无权限等错误原因，`open_product()` 内部失败会关闭本轮自动新建的失败 tab，复用用户已有 tab 不关闭，并在采集结束后只关闭本轮自动新建的商品编辑页 tab、保留用户已有 tab，更新提交成功且设置开启时可关闭本轮自动新建商品页，确认后跳回商品列表页时关闭前等待 2 秒；`click_update()` 已补 Shopee 站点侧确认框处理，页面主「更新」后若出现 `確定您要更新商品嗎?` modal（`.eds-modal__content` / `.eds-modal__box`），只点击弹窗主按钮「更新」并避开「立即優化」，且记录确认后是否跳回商品列表页；`replace_cover()` 已实现更新封面统一先校验本地旧封面备份，再点第一张删除、可见确认框、等待图片管理器稳定和上传 input 恢复，随后先点击上传块模拟人工入口、短暂等待、重新获取 input、注入文件上传新图并等待 蝦皮 CDN 后拖到第一位的代码路径；已修正 2026-06-30 稳定等待回归：删除第一张前不要求上传 input 可用，只等图片列表稳定；删除后再等上传入口恢复；`重複/重复/duplicate` 上传 toast 会立即判为新封面重复错误；`app/image_paths.py` 已统一新采集/新生成图片路径为 `images///__old/new.jpg`，历史 DB 路径继续按原路径读取；`app/appconfig.py` 已实现 `config.json` 默认值/读写/更新、AI 参数、端口读取、蝦皮更新安全与执行模式默认值，`ai.backend` 默认 `cmhub`，`config/ai_models.json` 模型清单 CRUD/过滤/打码/测试连接与 OpenAI-compatible base URL 自动补 endpoint，`config/cmhub.json` cmhub Key 读写/打码 helper、cmhub Base URL 规整与请求 URL 拼接 helper，以及 `mask_secret()`、`sanitize_for_log()`、`redact_secrets()` 敏感信息脱敏工具；`app/ai.py` 已实现 `gen_title()`/`gen_cover()`/`generate_batch()`，支持 direct 通用 HTTP 和 cmhub 网关 backend，direct 按默认文本/图片模型调用，cmhub 按 Base URL + 生文/生图别名调用 title/image/models/balance 接口，生图 `image_url` 安全下载后转本地 JPEG，计费 metadata 通过事件回调传出，HTTP 404 映射为 `not_found` 并给出中文排障提示，且保留重试、错误脱敏、图片 URL/base64 解析、resolution resize、jpg_quality 保存、按 `ai.generate_cover` 选择只生成标题或先并发标题再并发封面、逐条 `set_generated`、失败 `mark_failed`、步骤级事件/错误回调与停止取消未开始项；`app/prompts.py` 已实现标题提示词读写、封面模板 CRUD 与变量替换；`app/db.py` 已实现 SQLite schema、连接 PRAGMA、批次/账号/任务与阶段写库函数、T-206 批次软删除标记与默认业务查询过滤、T-404a/T-534 本地生成结果/更新状态重置函数（②生成结果可按标题/封面组件重置并保持 generated）、T-509 `update_generated_title()` 本地新标题微调函数，以及 `run_logs/run_log_events` 运行日志函数；`app/diagnostics.py` 已实现 gitignore 本地诊断日志、滚动写入、结构化 payload 和自由文本脱敏；T-505 已把 Excel 导入/回写、③更新蝦皮、④Chrome 启动/登录检测、⑤AI模型测试连接接入 `run_logs/run_log_events` 与本地脱敏诊断日志；`app/excel.py` 已实现多 Excel 输入列解析、整文件列校验、脏行统计跳过、导入批次与任务入库、别名匹配统计、旧标题/旧封面路径回写原 Excel、更新结果回写原 Excel 与另存副本；`app/config.py` 已实现账号 slug 与 user-data-dir 创建；`app/accounts.py` 已实现账号 CRUD 服务、端口默认分配、启动登录幂等复用已打开 Chrome、检测登录、生成快捷方式；`app/chrome.py` 已实现 Chrome 参数拼装、启动、CDP 端口探测、PowerShell `.lnk` 快捷方式生成；`app/gui/` 已由 T-523 拆分为 PySide6 GUI 包，包入口 `__init__.py` 兼容旧导入，`main_window.py` 放 `MainWindow`，`models.py` 放 3 个 TableModel，`widgets.py` 放色板/空状态/批次总览/状态栏语义色 helper，`workers.py` 放具体 GUI worker，`tabs/` 放 ①~⑤ Tab；整体仍实现 PySide6 `MainWindow`（窗口标题显示「蝦皮圈優化助手」）、五 Tab、顶部 Tab 栏防误点样式、统一语义色板、①②③任务状态列前景色、状态栏语义色、③「开始更新」warning 描边/文字色和①导入校验数字标红、④登录状态点上色、③更新蝦皮 Tab warning 小圆点和删除类按钮 danger 样式、①②③首次空状态引导卡片、①②③批次阶段进度总览、① 导入采集的 Excel 导入按钮/导入汇总栏/批次筛选与删除批次软删除入口/QTableView 任务列表/未匹配筛选与略过标记/采集旧标题旧封面 worker/采集前账号就绪预检与④引导/采集完成自动回写/旧数据回写重试按钮与 worker/采集运行日志视图、② AI生成左右布局/标题与封面提示词管理/批次/店铺/商品ID/状态筛选/任务列表/新标题列本地微调/变量预览/生成封面图片成本开关/开始生成/停止/标题与图片双进度条/双击新旧封面预览/用户可读自动滚动AI生成运行日志/cmhub余额显示/点数不足弹窗/计费日志/重置生成结果与 `GenerateWorker`，且②重置支持多选/当前筛选结果并可只重置标题、只重置封面或重置全部；③ 更新蝦皮批次/店铺/商品ID/状态筛选栏/任务列表/开始更新主按钮/重置更新状态右键菜单/更新安全开关拦截与「前往设置」跳转/「检查本轮更新」按钮/开始更新确认弹窗/确认后 `ApplyWorker` 按每批最大更新条数分批执行当前筛选全部可更新记录/账号就绪和端口冲突预检/按账号并行可选/逐条 `set_applied`/运行日志/自动回写结果到 Excel/结束汇总弹窗/手动回写重试按钮、④ 账号管理表格/弹窗/按钮/快捷方式与状态栏、密码明文保存提示、⑤ 设置页 T-529 后默认展示 cmhub 网关 Base URL、API Key、动态生文/生图别名下拉、Base URL 网关根提示、刷新别名与测试连接/查余额，不再显示「AI 后端」label/dropdown、direct 模型选择、模型详情或标题/图片模型角色下拉；保存设置固定写 `ai.backend=cmhub`，保存/刷新前会把 Base URL 规整为网关根，允许先保存不完整 cmhub 配置，生成时再提示补齐；direct 模型配置、`AIModelTestWorker` 和 `config/ai_models.json` 仅作内部兼容/手工回滚；通用生成参数、Chrome 路径和端口、蝦皮更新安全与多账号并行设置继续持久化 `config.json`，数据路径字段在普通 UI 隐藏但保存时保留配置兼容，cmhub Key 单独写入 `config/cmhub.json`，保存成功后弹轻量提示框；⑤ 设置页已将「蝦皮更新安全 / 执行模式」前置、将「基础设施（路径与端口）」后置，`test_item_id` 与 `dry_run` 不再有用户可操作控件，保存时保留 `test_item_id` 兼容值并固定 `dry_run=false`；③ 普通正式更新不再用 `test_item_id` 阻断非测试商品，确认弹窗不再显示测试商品 ID；`app/workers.py` 已实现 `BaseWorker`、通用 signals、取消标记和 `QThread` 启动包装。 -- 测试：`tests/` 已建立；T-522 已新增 GitHub Actions 在 push / pull_request 自动运行语法检查与全量 unittest，T-525 后 CI 先运行 ruff 安全类 lint；T-006 后纯逻辑改动必须运行 `python -m unittest discover -s tests`，当前覆盖 appconfig/db/config/accounts（含 T-105b 启动登录复用已运行 Chrome）/chrome 启动与快捷方式/editor 登录检测（含 Shopee accounts 登录页）与商品 tab 生命周期、商品详情页失效/隐藏 toast 捕获、更新成功后关闭本轮新开 tab、更新封面备份缺失阻断/8张与9张先删第一张/删除确认/上传入口初始不可用/重复图片 toast/物流错误不阻断上传/删图后稳定等待/上传状态诊断/拖首位 mock 路径/Shopee 更新确认框、成功跳回商品列表和残留错误 toast 不覆盖成功 mock 路径/excel 导入/旧字段与更新结果回写/ai 标题与封面 HTTP 解析/`generate_batch` 正常、失败与停止/prompts 读写与渲染/gui ① 导入采集、删除批次软删除与采集诊断日志/gui ② AI生成布局与批次/店铺/商品ID/状态筛选、提示词管理、生成 worker、图片失败诊断日志、双击预览、重置生成结果与新标题本地编辑/gui ③ 更新蝦皮批次/店铺/商品ID/状态筛选列表、确认弹窗、开始更新主按钮、重置更新状态右键菜单、蝦皮更新安全拦截与前往设置、`ApplyWorker` 串行/检查/分批/按账号并行/端口冲突预检、运行日志、结果回写与汇总/gui ④ 账号管理、密码打码与明文保存提示/gui ⑤ AI 模型管理、API Key 打码与明文保存提示、角色/生成参数设置、蝦皮更新安全设置、检查按钮/每批最大更新条数/多账号并行设置、测试商品 ID 限制移除/worker signal 与线程包装、T-505 全流程诊断日志（import/write_back/apply/chrome_launch/login_check/ai_model_test）与本地日志脱敏、gui T-511 语义色板和任务状态列前景色、T-512 高风险按钮与导入校验数字样式、T-513 登录状态/Tab 标识/删除按钮样式、T-514 首次空状态引导卡片、T-515 批次阶段进度总览、T-516 ①筛选对齐②③、T-517 ⑤设置分区与兼容字段清理、T-518 ②左栏提示词区组件密度优化、T-519 ②AI生成长任务进度条与用户可读滚动日志、T-520 ②AI生成封面可选生成开关、T-524 PyInstaller 打包入口/构建脚本/发布目录校验、T-526 cmhub backend mock、T-527 设置页 cmhub backend 切换/别名下拉/worker mock、T-528 ②cmhub余额显示/计费日志/点数不足中止提示、T-529 默认 cmhub/隐藏 AI 后端选择/保存固定 cmhub/direct 兼容、T-530 cmhub Base URL 规整/404 not_found 明确提示、T-531 设置页未保存状态/离开确认/放弃还原、T-532 cmhub连接成功账号名提示、T-533 增量生成组件口径、T-534 ②按标题/封面组件重置与多选/筛选范围重置、T-535 cmhub标题请求读取等待固定600秒、T-536 GUI按钮全局基础样式与语义色按钮叠加样式、T-537 主窗口标题显示中文品牌、T-539 设置页隐藏数据路径字段并保留配置值、T-543 状态栏语义色与颜色重置、T-544 启动版本检查/强制升级阻断/失败放行；2026-07-01 已完成 5 个真实商品的 T-404 更新验收，后续 CDP/Shopee 改动仍需测试商品手动验证。 +- 测试：`tests/` 已建立；T-522 已新增 GitHub Actions 在 push / pull_request 自动运行语法检查与全量 unittest，T-525 后 CI 先运行 ruff 安全类 lint；T-006 后纯逻辑改动必须运行 `python -m unittest discover -s tests`，当前覆盖 appconfig/db/config/accounts（含 T-105b 启动登录复用已运行 Chrome）/chrome 启动与快捷方式/editor 登录检测（含 Shopee accounts 登录页）与商品 tab 生命周期、商品详情页失效/隐藏 toast 捕获、更新成功后关闭本轮新开 tab、更新封面备份缺失阻断/8张与9张先删第一张/删除确认/上传入口初始不可用/重复图片 toast/物流错误不阻断上传/删图后稳定等待/上传状态诊断/拖首位 mock 路径/Shopee 更新确认框、成功跳回商品列表和残留错误 toast 不覆盖成功 mock 路径/excel 导入/旧字段与更新结果回写/ai 标题与封面 HTTP 解析/`generate_batch` 正常、失败与停止/prompts 读写与渲染/gui ① 导入采集、删除批次软删除与采集诊断日志/gui ② AI生成布局与批次/店铺/商品ID/状态筛选、提示词管理、生成 worker、图片失败诊断日志、双击预览、重置生成结果与新标题本地编辑/gui ③ 更新蝦皮批次/店铺/商品ID/状态筛选列表、确认弹窗、开始更新主按钮、重置更新状态右键菜单、蝦皮更新安全拦截与前往设置、`ApplyWorker` 串行/检查/分批/按账号并行/端口冲突预检、运行日志、结果回写与汇总/gui ④ 账号管理、密码打码与明文保存提示/gui ⑤ AI 模型管理、API Key 打码与明文保存提示、角色/生成参数设置、蝦皮更新安全设置、检查按钮/每批最大更新条数/多账号并行设置、测试商品 ID 限制移除/worker signal 与线程包装、T-505 全流程诊断日志（import/write_back/apply/chrome_launch/login_check/ai_model_test）与本地日志脱敏、gui T-511 语义色板和任务状态列前景色、T-512 高风险按钮与导入校验数字样式、T-513 登录状态/Tab 标识/删除按钮样式、T-514 首次空状态引导卡片、T-515 批次阶段进度总览、T-516 ①筛选对齐②③、T-517 ⑤设置分区与兼容字段清理、T-518 ②左栏提示词区组件密度优化、T-519 ②AI生成长任务进度条与用户可读滚动日志、T-520 ②AI生成封面可选生成开关、T-524 PyInstaller 打包入口/构建脚本/发布目录校验、T-526 cmhub backend mock、T-527 设置页 cmhub backend 切换/别名下拉/worker mock、T-528 ②cmhub余额显示/计费日志/点数不足中止提示、T-529 默认 cmhub/隐藏 AI 后端选择/保存固定 cmhub/direct 兼容、T-530 cmhub Base URL 规整/404 not_found 明确提示、T-531 设置页未保存状态/离开确认/放弃还原、T-532 cmhub连接成功账号名提示、T-533 增量生成组件口径、T-534 ②按标题/封面组件重置与多选/筛选范围重置、T-535 cmhub标题请求读取等待固定600秒、T-536 GUI按钮全局基础样式与语义色按钮叠加样式、T-537 主窗口标题显示中文品牌、T-539 设置页隐藏数据路径字段并保留配置值、T-543 状态栏语义色与颜色重置、T-544 启动版本检查/强制升级阻断/失败放行、T-548 cmhub 图片下载 curl 后端参数安全/回退 requests/SSRF 顺序和配置归一；2026-07-01 已完成 5 个真实商品的 T-404 更新验收，后续 CDP/Shopee 改动仍需测试商品手动验证。 - 数据：T-538 后默认用户数据根为 `data/`（整体 gitignore）；旧布局的 `config.json`、`config/ai_models.json`、`config/cmhub.json`、`cmshopee.db`、`cmshopee.db-*`、`chrome_user_data_dir/`、`images/`、`logs/`、`prompts/`、`title_prompt.txt`、`build/`、`dist/` 仍由 `.gitignore` 排除以支持迁移前安全；密码与 API Key 本地明文保存但保存/变更时提示，UI 打码，日志/导出必须脱敏；运营填写后的 Excel 业务文件默认忽略，标准空模板 `shopee待处理任务模板.xlsx` 可提交；`app/appconfig.py` 首次读取缺失的 `data/config.json` 时会在本地写默认配置，`app/db.py` 调用 `init_db()` 时会在本地创建 SQLite DB。 ## 既定设计要点（文档已定） @@ -54,9 +55,9 @@ | `app/workers.py` | 已有 | T-104b 产出：`BaseWorker` + 通用 signals + 取消标记 + `run_worker()` QThread 包装 | | `app/accounts.py` | 已有 | T-105/T-106 产出：账号 CRUD 服务、目录创建、端口分配、启动登录、检测登录、快捷方式 | | `app/editor.py` | 已有 | T-001/T-103/T-205b/T-207/T-501c/T-502/T-404b + T-404 补丁产出：登录状态检测、打开商品页、详情页加载失败 toast 捕获与商品失效归因、读/写标题、读/下载封面、采集步骤回调、更新步骤回调、采集后关闭自动新建商品页 tab、上传前等待图片管理器稳定、点击上传块后注入文件并检测 CDN 后拖封面、更新封面统一先校验旧封面备份再删线上第一张、重复图片 toast 明确失败、页面主更新按钮、Shopee 站点侧确认框主按钮、apply_task；更新成功后可按设置关闭本轮自动新建商品页 | -| `app/appconfig.py` | 已有 | T-002/T-501c/T-503/T-504/T-520/T-526/T-527/T-538/T-547 产出：`data/config.json` 默认值、读写、更新、路径/端口/AI 参数读取、`data_dir` 路径解析、旧顶层用户数据迁移、`data/` 可写性检测、AI `backend=direct/cmhub` 和 `ai.cmhub` 默认值、`data/config/cmhub.json` Key helper、蝦皮更新安全与 dry-run/多账号并行默认值，②生成封面默认关闭的 `ai.generate_cover`；AI 标题/图片并发加载/保存时夹紧到 1..5，失败重试夹紧到 0..10；拒绝敏感字段写入；提供敏感值打码、结构化日志脱敏与自由文本替换工具 | +| `app/appconfig.py` | 已有 | T-002/T-501c/T-503/T-504/T-520/T-526/T-527/T-538/T-547/T-548 产出：`data/config.json` 默认值、读写、更新、路径/端口/AI 参数读取、`data_dir` 路径解析、旧顶层用户数据迁移、`data/` 可写性检测、AI `backend=direct/cmhub` 和 `ai.cmhub` 默认值、`data/config/cmhub.json` Key helper、蝦皮更新安全与 dry-run/多账号并行默认值，②生成封面默认关闭的 `ai.generate_cover`；AI 标题/图片并发加载/保存时夹紧到 1..5，失败重试夹紧到 0..10；`ai.cmhub.download_with_curl` 归一为 auto/true/false；拒绝敏感字段写入；提供敏感值打码、结构化日志脱敏与自由文本替换工具 | | `app/diagnostics.py` | 已有 | T-207 + AI生成诊断补丁 + T-505 产出：本地 `data/logs/cmshopee.log` 诊断日志、大小滚动、异常类型/traceback/step/耗时记录，结构化 payload 和自由文本脱敏后写入 | -| `app/ai.py` | 已有 | T-301/T-303 + AI生成诊断补丁 + T-519/T-520/T-526/T-528/T-533/T-535/T-545 产出：`gen_title()`/`gen_cover()`/`generate_batch()`；支持 direct 默认模型直连和 cmhub 网关 backend；cmhub 使用 `CMHubError` 结构化错误、tuple timeout、非幂等生图读超时不重发、`image_url` 安全下载、`fetch_cmhub_models()` 别名发现、`fetch_cmhub_balance()` 余额查询和 metadata 事件；cmhub 标题请求连接超时取 `ai.cmhub.connect_timeout`、读取等待固定 600 秒；cmhub 生图请求和图片下载读取等待固定 650 秒；cmhub 生图实际请求并发 = `min(ai.image_concurrency, 5)`，拿到 `image_url` 后交给独立下载/保存线程池，下载并发同样最大 5，下载失败最多安全重试 3 次，仍失败只记该任务失败、不重发 cmhub 生图请求；direct 保留通用 HTTP 调用、失败重试、错误脱敏；封面按 resolution/jpg_quality 保存并按批次/店铺/任务路径落盘；批量生成可按 `ai.generate_cover` 跳过封面阶段，开启封面时按缺失组件增量补齐，已有标题不重生、不覆盖手动标题，已有封面不重生；进度回调按标题/封面组件统计，逐条落库、失败标记、事件/错误回调、停止取消未开始项 | +| `app/ai.py` | 已有 | T-301/T-303 + AI生成诊断补丁 + T-519/T-520/T-526/T-528/T-533/T-535/T-545/T-548 产出：`gen_title()`/`gen_cover()`/`generate_batch()`；支持 direct 默认模型直连和 cmhub 网关 backend；cmhub 使用 `CMHubError` 结构化错误、tuple timeout、非幂等生图读超时不重发、`image_url` 安全下载、`fetch_cmhub_models()` 别名发现、`fetch_cmhub_balance()` 余额查询和 metadata 事件；cmhub 标题请求连接超时取 `ai.cmhub.connect_timeout`、读取等待固定 600 秒；cmhub 生图请求和图片下载读取等待固定 650 秒；cmhub 生图实际请求并发 = `min(ai.image_concurrency, 5)`，拿到 `image_url` 后交给独立下载/保存线程池，下载并发同样最大 5；图片下载默认在 Windows 检测到系统 curl 时优先用 curl，URL 通过临时配置文件传入且 `use_system_proxy=false` 时加 `--noproxy "*"`，非 Windows/无 curl/curl 失败回退 requests；下载失败最多安全重试 3 次，仍失败只记该任务失败、不重发 cmhub 生图请求；direct 保留通用 HTTP 调用、失败重试、错误脱敏；封面按 resolution/jpg_quality 保存并按批次/店铺/任务路径落盘；批量生成可按 `ai.generate_cover` 跳过封面阶段，开启封面时按缺失组件增量补齐，已有标题不重生、不覆盖手动标题，已有封面不重生；进度回调按标题/封面组件统计，逐条落库、失败标记、事件/错误回调、停止取消未开始项 | | `app/prompts.py` | 已有 | T-302p 产出：标题提示词读写、封面模板列表/读取/保存/重命名/删除、变量替换 | | `app/db.py` | 已有 | T-003/T-206/T-404a/T-504/T-509/T-534 产出：batches/accounts/tasks schema；batches 软删除字段与默认业务查询过滤；run_logs/run_log_events；WAL/busy_timeout/foreign_keys；账号/批次/任务与 set_* 阶段写库；生成结果/更新状态本地重置，②生成结果支持按标题/封面组件清空并保持 generated；`update_generated_title()` 本地新标题微调；运行日志写入与查询 | | `app/config.py` | 已有 | T-101 产出：别名→稳定 slug；创建并返回绝对 user-data-dir | @@ -82,7 +83,7 @@ 任务状态以 [`06-tasks.md`](06-tasks.md) 为准，历史记录见 [`../progress.md`](../progress.md)。 - 已完成：T-000（正式代码包结构）、T-001（`app/editor.py` 模块化）、T-002（`app/appconfig.py` + `config.json`）、T-003（SQLite 建表）、T-004（本地数据 gitignore）、T-005（AI 模型清单后端）、T-006（单元测试基座）、T-101（账号 slug/user-data-dir）、T-102（Chrome 启动器）、T-103（登录保活与检测）、T-103b（登录检测补充识别 Shopee accounts 登录页）、T-104（PySide6 五 Tab 主窗口骨架）、T-104b（PySide6 worker 基座）、T-105（Tab④ 账号管理）、T-105b（④启动登录复用已打开 Chrome）、T-106（账号快捷方式）、T-201（Excel 导入：解析多文件输入列入库）、T-202（Tab① 任务列表 + 导入按钮 + 别名匹配标记）、T-202b（Tab① 导入汇总栏）、T-203（采集旧标题+旧封面）、T-204（回写旧字段到原 Excel）、T-204b（采集完成自动回写旧字段）、T-205（首次未配账号 / Chrome 未启动 / 未登录引导保护）、T-205b（采集后关闭自动新建商品页 tab）、T-206（Tab① 删除指定批次软删除）、T-301（AI 生成接口）、T-302（Tab② 左右布局与任务列表）、T-302p（提示词管理）、T-303（Tab② 开始生成 + 停止 + 进度）、T-303b（②/③ 商品ID筛选）、T-401（Tab③ 更新列表筛选 + 开始更新确认弹窗）、T-402（Tab③ 确认后串行更新）、T-403（Tab③ 结果回写与结束汇总）、T-501（Tab⑤ AI 模型管理 UI）、T-501b（Tab⑤ 角色与生成参数）、T-501c（Tab⑤ 蝦皮更新安全开关）、T-502（换封面删第一张再上传）、T-503（敏感信息本地明文保存提示与日志脱敏）、T-504（多账号并行 / dry-run / 运行日志）、T-207（①采集诊断日志）、② AI生成图片失败诊断日志补丁、T-404a（②/③ 选中记录重置）、T-404（真实 Shopee 单条更新冒烟验收）、T-506（正式使用批量更新体验）、T-507（正式批量更新：移除普通流程测试商品 ID 限制）、T-508（③ 更新蝦皮生产化操作区）、T-509（② 新标题人工微调）、T-510（③ 检查本轮更新文案统一）、T-505（全流程诊断日志扩展）、T-511（语义色板 + ①②③任务状态列上色）、T-512（③高风险按钮上色 + ①导入校验数字标红）、T-513（登录点 / ③Tab危险标识 / 破坏性按钮上色）、T-514（①②③ 首次空状态引导卡片）、T-515（批次阶段进度总览）、T-516（①筛选对齐②③）、T-517（⑤设置分区 + 清理兼容字段）、T-518（②左栏提示词区组件密度优化）、T-519（②AI生成长任务进度条 + 用户可读滚动日志）、T-520（②AI生成封面可选生成开关）、T-521（依赖清单：锁版本 requirements）、T-522（CI：自动跑语法 + 单元 / GUI 测试）、T-523（拆分 `app/gui.py` 为 `app/gui/` 包）、T-523a（②/③ 新一轮运行前清空界面日志显示）、T-404b（商品详情页加载失败 toast 自动捕获）、T-524（PyInstaller 打包为免安装 exe）、T-526（`app/ai.py` + `appconfig` 接入 cmhub backend）、T-527（⑤设置 cmhub 网关面板）、T-528（②计费错误提示 + 余额展示）、T-529（默认 cmhub 网关并隐藏 AI 后端选择）、T-530（cmhub Base URL 规整 + 404 明确提示）、T-531（⑤设置未保存状态追踪 + 离开确认）、T-532（⑤cmhub连接成功提示显示账号名）。 -- 最近完成补充：T-533（②增量生成：按缺失组件补生成）、T-534（②重置增强：多选/筛选范围 + 按组件重置）、T-535（②cmhub生成标题读取等待固定600秒）、T-536（GUI按钮圆角全局统一）、T-537（品牌名显示为蝦皮圈優化助手）、T-538（打包产物用户数据收进 `data/`）、T-539（⑤隐藏数据路径设置）、T-540（打包版本号与 release 产物命名统一）、T-541（打包版主窗口初始位置与小屏适配）、T-542（GUI 用户可见 shopee/Shopee 文案统一改为蝦皮）、T-543（状态栏语义色与统一提示入口）、T-544（启动时检查强制升级，第一版只提示下载，不自动覆盖）、T-525（引入 ruff lint/format 工程检查）、T-545（②cmhub 生图和下载并发上限 5 + 独立下载线程池）、T-547（⑤并发/重试上限收紧）。 +- 最近完成补充：T-533（②增量生成：按缺失组件补生成）、T-534（②重置增强：多选/筛选范围 + 按组件重置）、T-535（②cmhub生成标题读取等待固定600秒）、T-536（GUI按钮圆角全局统一）、T-537（品牌名显示为蝦皮圈優化助手）、T-538（打包产物用户数据收进 `data/`）、T-539（⑤隐藏数据路径设置）、T-540（打包版本号与 release 产物命名统一）、T-541（打包版主窗口初始位置与小屏适配）、T-542（GUI 用户可见 shopee/Shopee 文案统一改为蝦皮）、T-543（状态栏语义色与统一提示入口）、T-544（启动时检查强制升级，第一版只提示下载，不自动覆盖）、T-525（引入 ruff lint/format 工程检查）、T-545（②cmhub 生图和下载并发上限 5 + 独立下载线程池）、T-547（⑤并发/重试上限收紧）、T-548（cmhub 图片下载优先系统 curl 并安全回退 requests）。 - 下一个可领取任务：暂无正式 TODO；后续可从 Backlog 选择新任务或重新打包验证生产版。 ## 当前已知限制 @@ -126,7 +127,7 @@ - T-523a 已完成：②点击「开始生成」、③点击「检查本轮更新」或「开始更新」时，先清空对应界面的旧日志显示并写入本轮开始摘要；运行中只追加本轮日志。历史 `run_logs/run_log_events` 和本地 `logs/` 不删除、不自动混入当前运行界面。 - T-404b 已完成：`open_product()` 在导航商品详情页前后安装 toast 捕获，等待详情页关键元素超时时会读取最近 `.eds-toasts`/toast/message 节点及页面缓存，把明确商品失效/商品不存在/无权限类 toast 上浮为 `商品失效：<原始toast>`；如果失败发生在 `open_product()` 内部，本轮自动新建的失败 tab 会关闭，复用用户已有 tab 不关闭；①列表“阶段”列只在这类明确失效错误时显示“商品失效”，底层仍保持 `stage=imported/status=failed`，其他打开失败仍显示“失败”。 - T-524 已完成：新增 PyInstaller onedir 打包配置、构建脚本和发布目录校验；T-538 后打包版不再切换全进程工作目录，首次运行在 exe 同级 `data/` 生成/使用本地配置、DB、图片、日志、登录态和提示词；发布包不内置 `data/`，用户后续更新采用关闭程序后覆盖程序文件、保留 `data/` 的方式。T-544 第一版的强制升级弹窗也沿用该手动覆盖方式。 -- Phase 7 cmhub 网关对接已完成 T-526~T-535、T-545 与 T-547；②生成阶段已支持按标题/封面缺失组件增量生成，②重置生成结果已支持多选/筛选范围和按标题/封面组件重置，cmhub 标题请求读取等待固定 600 秒，cmhub 生图请求和图片下载读取等待固定 650 秒，并把生图请求/下载保存拆成最大 5 并发的独立线程池；⑤已将标题/图片并发上限收紧到 5、失败重试上限收紧到 10，旧配置超限值会被夹紧。T-539、T-541、T-542、T-543、T-544 与 T-525 已完成；正式任务看板当前无 TODO。 +- Phase 7 cmhub 网关对接已完成 T-526~T-535、T-545、T-547 与 T-548；②生成阶段已支持按标题/封面缺失组件增量生成，②重置生成结果已支持多选/筛选范围和按标题/封面组件重置，cmhub 标题请求读取等待固定 600 秒，cmhub 生图请求和图片下载读取等待固定 650 秒，并把生图请求/下载保存拆成最大 5 并发的独立线程池；⑤已将标题/图片并发上限收紧到 5、失败重试上限收紧到 10，旧配置超限值会被夹紧；cmhub 图片下载默认 Windows 优先系统 curl，失败安全回退 requests。T-539、T-541、T-542、T-543、T-544 与 T-525 已完成；正式任务看板当前无 TODO。 - T-301/T-303 已完成通用 HTTP AI 接口、批量生成编排和 GUI 接入 mock 单测；真实 AI 生成还需要在 `data/config/ai_models.json` 填入可用 url/model/api_key 后做一次成本可控的小样本实测；URL 可填完整 endpoint 或 OpenAI-compatible base URL。 - 本地 `data/config/ai_models.json` 若由旧版本或手工维护，可能缺少 `category`；启动报 “AI 模型 category 必须是 text 或 image” 时，按 [`troubleshooting.md`](troubleshooting.md) 只补 `category` / `enabled` 等非密钥字段，保留 API Key，且不要提交该文件。 diff --git a/docs/packaging.md b/docs/packaging.md index bf3c1fb..7f8b586 100644 --- a/docs/packaging.md +++ b/docs/packaging.md @@ -194,6 +194,8 @@ T-544 第一版目标是**启动时检查是否必须升级**，但仍不做自 `cmshopee.spec` 不声明任何 `datas`；`scripts/build_exe.ps1` 会在打包后检查 `dist\cmshopee\`，如果发现上述路径会直接失败。 +T-548 后 cmhub 图片下载可在 Windows 上优先调用系统自带 curl。curl 在 Windows 10+ 通常位于 `C:\Windows\System32\curl.exe`，发布包不捆绑 curl、wget 或其它下载二进制；如果系统无 curl 或 curl 执行失败，程序会自动回退到内置 requests 下载。 + ## 五、首次运行与本地数据位置 T-538 后，打包版不再把全进程工作目录切到 `cmshopee.exe` 所在目录；路径由 `app/appconfig.py` 按显式数据根解析。 diff --git a/progress.md b/progress.md index 53f92fe..1345ca9 100644 --- a/progress.md +++ b/progress.md @@ -1491,3 +1491,12 @@ - 测试：`tests/test_appconfig.py` 覆盖旧配置超限值会归一到 1/5/10、正常值不变；`tests/test_gui.py` 覆盖三个 spin 的新范围。 - 文档：`docs/06-tasks.md` 将 T-547 标为 DONE；同步 `docs/04-architecture.md`、`docs/api.md`、`docs/routes.md` 和 `docs/current-state.md`。 - 验证：`py -3.10 -m unittest discover -s tests -p "test_appconfig.py"` 通过（15 tests）；`py -3.10 -m unittest discover -s tests -p "test_gui.py"` 通过（102 tests）；`python -m ruff check app tests main.py` 通过；`py -3.10 -m compileall app main.py` 通过；`git diff --check` 通过；`py -3.10 -m unittest discover -s tests` 通过（244 tests）。 + +## 【2026-07-08】T-548 · cmhub 图片下载优先系统 curl + +- 需求：cmhub 生图拿到 `image_url` 后，图片下载可优先使用 Windows 10+ 系统自带 curl，贴近用户用 curl 实测较快的下载路径；不得捆绑 `wget/` 或其它下载二进制。 +- 代码：`app/appconfig.py` 新增 `ai.cmhub.download_with_curl`，默认 `auto`，并归一为 `auto/true/false`；`app/ai.py` 只替换 `image_url` 下载后端，生成、models、balance 仍走共享 requests Session。`auto` 在 Windows 且检测到系统 curl 时优先 curl，非 Windows、无 curl 或 curl 执行失败时自动回退 requests。 +- 安全：curl 调用前仍执行 `_assert_public_http_url()`，避免 SSRF 绕过；用 `subprocess.run([...], shell=False)`；带 token 的 `image_url` 写入临时 curl 配置文件并通过 `-K` 传入，不出现在命令行参数；`use_system_proxy=false` 时追加 `--noproxy "*"`；下载后仍走现有 JPEG 重编码和大小上限。 +- 测试：`tests/test_ai.py` 覆盖 curl 参数、URL 不进 argv、SSRF 校验先于 subprocess、curl 失败回退 requests、无 curl 自动回退 requests；现有 cmhub 测试 helper 显式关闭 curl，避免单测误连真实网络。`tests/test_appconfig.py` 覆盖 `download_with_curl` 默认值和归一。 +- 文档：同步 `docs/06-tasks.md`、`docs/04-architecture.md`、`docs/api.md`、`docs/cmhub-integration-design.md`、`docs/packaging.md` 和 `docs/current-state.md`。 +- 验证：`py -3.10 -m unittest discover -s tests -p "test_ai.py"` 通过（38 tests）；`py -3.10 -m unittest discover -s tests -p "test_appconfig.py"` 通过（16 tests）；`python -m ruff check app tests main.py` 通过；`py -3.10 -m compileall app main.py` 通过；`git diff --check` 通过；`py -3.10 -m unittest discover -s tests` 通过（250 tests）。 diff --git a/tests/test_ai.py b/tests/test_ai.py index b5d90d6..7e9b964 100644 --- a/tests/test_ai.py +++ b/tests/test_ai.py @@ -93,6 +93,7 @@ class AITests(TempDirMixin, unittest.TestCase): "title_alias": "title-standard", "image_alias": "image-hd", "connect_timeout": 3, + "download_with_curl": "false", "check_balance_before_batch": False, } key_path = os.path.join(temp_dir, "cmhub.json") @@ -637,6 +638,136 @@ class AITests(TempDirMixin, unittest.TestCase): with self.assertRaises(ai.AIError): ai._download_cmhub_image("https://cdn.example.com/a.png", 1, 1) + def test_cmhub_image_download_uses_curl_without_url_in_argv(self): + generated_png = self._png_bytes() + url = "https://cdn.example.com/generated.png?token=secret-token" + public_dns = [ + (socket.AF_INET, socket.SOCK_STREAM, 6, "", ("93.184.216.34", 443)) + ] + calls = [] + + def fake_run(args, **kwargs): + calls.append((args, kwargs)) + self.assertIn("-K", args) + config_path = args[args.index("-K") + 1] + with open(config_path, "r", encoding="utf-8") as fh: + self.assertIn(url, fh.read()) + self.assertNotIn(url, args) + self.assertIn("--connect-timeout", args) + self.assertEqual("3", args[args.index("--connect-timeout") + 1]) + self.assertIn("--max-time", args) + self.assertEqual("650", args[args.index("--max-time") + 1]) + self.assertIn("--max-filesize", args) + self.assertEqual(str(ai.CMHUB_IMAGE_MAX_BYTES), args[args.index("--max-filesize") + 1]) + self.assertIn("--noproxy", args) + self.assertEqual("*", args[args.index("--noproxy") + 1]) + self.assertFalse(kwargs["shell"]) + output_path = args[args.index("--output") + 1] + with open(output_path, "wb") as fh: + fh.write(generated_png) + return SimpleNamespace(returncode=0, stdout=b"", stderr=b"") + + with mock.patch("app.ai._find_system_curl", return_value=r"C:\Windows\System32\curl.exe"), \ + mock.patch("app.ai.subprocess.run", side_effect=fake_run), \ + mock.patch("app.ai.socket.getaddrinfo", return_value=public_dns): + image_bytes = ai._download_cmhub_image( + url, + connect_timeout=3, + read_timeout=650, + use_system_proxy=False, + download_with_curl="true", + ) + + self.assertEqual(generated_png, image_bytes) + self.assertEqual(1, len(calls)) + + def test_cmhub_image_download_skips_curl_for_private_url(self): + with mock.patch("app.ai._find_system_curl", return_value=r"C:\Windows\System32\curl.exe"), \ + mock.patch("app.ai.subprocess.run") as run: + with self.assertRaises(ai.AIError): + ai._download_cmhub_image( + "http://127.0.0.1/a.png", + connect_timeout=3, + read_timeout=650, + download_with_curl="true", + ) + run.assert_not_called() + + def test_cmhub_image_download_falls_back_to_requests_when_curl_fails(self): + generated_png = self._png_bytes() + public_dns = [ + (socket.AF_INET, socket.SOCK_STREAM, 6, "", ("93.184.216.34", 443)) + ] + + def fake_get(url, **kwargs): + return _RequestsResponse(content=generated_png) + + with mock.patch("app.ai._find_system_curl", return_value=r"C:\Windows\System32\curl.exe"), \ + mock.patch( + "app.ai.subprocess.run", + return_value=SimpleNamespace(returncode=28, stdout=b"", stderr=b"timeout"), + ) as run, \ + mock.patch.object(ai._cmhub_session(), "get", side_effect=fake_get) as get, \ + mock.patch("app.ai.socket.getaddrinfo", return_value=public_dns): + image_bytes = ai._download_cmhub_image( + "https://cdn.example.com/generated.png", + connect_timeout=3, + read_timeout=650, + download_with_curl="true", + ) + + self.assertEqual(generated_png, image_bytes) + self.assertEqual(1, run.call_count) + self.assertEqual(1, get.call_count) + + def test_cmhub_image_download_auto_without_curl_uses_requests(self): + generated_png = self._png_bytes() + public_dns = [ + (socket.AF_INET, socket.SOCK_STREAM, 6, "", ("93.184.216.34", 443)) + ] + + def fake_get(url, **kwargs): + return _RequestsResponse(content=generated_png) + + with mock.patch("app.ai.os.name", "nt"), \ + mock.patch("app.ai._find_system_curl", return_value=""), \ + mock.patch("app.ai.subprocess.run") as run, \ + mock.patch.object(ai._cmhub_session(), "get", side_effect=fake_get), \ + mock.patch("app.ai.socket.getaddrinfo", return_value=public_dns): + image_bytes = ai._download_cmhub_image( + "https://cdn.example.com/generated.png", + connect_timeout=3, + read_timeout=650, + download_with_curl="auto", + ) + + self.assertEqual(generated_png, image_bytes) + run.assert_not_called() + + def test_cmhub_image_download_auto_on_non_windows_uses_requests(self): + generated_png = self._png_bytes() + public_dns = [ + (socket.AF_INET, socket.SOCK_STREAM, 6, "", ("93.184.216.34", 443)) + ] + + def fake_get(url, **kwargs): + return _RequestsResponse(content=generated_png) + + with mock.patch("app.ai.os.name", "posix"), \ + mock.patch("app.ai._find_system_curl", return_value="/usr/bin/curl"), \ + mock.patch("app.ai.subprocess.run") as run, \ + mock.patch.object(ai._cmhub_session(), "get", side_effect=fake_get), \ + mock.patch("app.ai.socket.getaddrinfo", return_value=public_dns): + image_bytes = ai._download_cmhub_image( + "https://cdn.example.com/generated.png", + connect_timeout=3, + read_timeout=650, + download_with_curl="auto", + ) + + self.assertEqual(generated_png, image_bytes) + run.assert_not_called() + def test_cmhub_upstream_error_retries_and_keeps_metadata(self): with self.make_temp_dir() as temp_dir: cfg, key_path = self._cmhub_config(temp_dir) diff --git a/tests/test_appconfig.py b/tests/test_appconfig.py index 92dacd6..5cc1a85 100644 --- a/tests/test_appconfig.py +++ b/tests/test_appconfig.py @@ -101,6 +101,39 @@ class AppConfigTests(TempDirMixin, unittest.TestCase): self.assert_removed(temp_dir) + def test_cmhub_download_with_curl_mode_is_normalized(self): + with self.make_temp_dir() as temp_dir: + config_path = os.path.join(temp_dir, "config.json") + + config = appconfig.load_config(config_path) + self.assertEqual("auto", appconfig.cmhub_config(config)["download_with_curl"]) + + saved = appconfig.save_config( + { + "ai": { + "cmhub": { + "download_with_curl": True, + } + } + }, + path=config_path, + ) + self.assertEqual("true", appconfig.cmhub_config(saved)["download_with_curl"]) + + saved = appconfig.save_config( + { + "ai": { + "cmhub": { + "download_with_curl": "invalid", + } + } + }, + path=config_path, + ) + self.assertEqual("auto", appconfig.cmhub_config(saved)["download_with_curl"]) + + self.assert_removed(temp_dir) + def test_data_paths_resolve_under_default_data_dir(self): with self.make_temp_dir() as temp_dir: data_root = os.path.join(temp_dir, "data")