江晨
3e364d576d
- docs/computer-use-PROGRESS.md: 已完成/已知问题/关键机制踩坑记录 - tools/test-enum.ps1: EnumWindows 基准脚本（本机验证可用） - PLAN.md 更新：阶段3进行中，因余额暂停
3.3 KiB
3.3 KiB
总体规划：把 DeepSeek Harness 升级为 Codex 级智能助手
状态：暂停（用户 API 余额不足，2026-08-17）。目标已挂起，续作时从
docs/computer-use-PROGRESS.md的已知问题开始。
目标
用户头像/API 消耗、GitHub/Gitea 集成、定时任务、电脑操作模式（截图+视觉+鼠标键盘）、 内置浏览器操控、吉祥物悬浮助手，全部成果留档并发布到 GitHub/Gitea 仓库。
现状盘点（已验证）
- 桌面应用化：快捷方式 → 托盘（dsh-app.ps1）→ Edge 独立窗口 ✅
- 聊天发图 + 视觉理解：mmx 桥接（MiniMax M3 via NVIDIA）✅
- 动态 Cordis 插件（Host/Client 双向）✅
- git 2.55 + GitHub（jiangchen1245）+ 自建 Gitea（gitea.truestudio.online）✅
- DeepSeek 官方余额 API 可用（GET https://api.deepseek.com/user/balance）✅
阶段
1️⃣ GitHub / Gitea 集成（进行中）
- 验证 Gitea 凭据（git 协议 + API basic auth）
- 留档仓库 jiangchen/dsh-enhancements 已在 Gitea 上线
- 装 gh CLI（沙箱内 github CDN 不通，需用户手动 winget 安装）
- dsh-git 插件：repo_status / gh_issue / gh_pr / gh_commit / gh_push
- GUI"Git 中心"面板
2️⃣ 定时任务插件 ✅（核心完成）
- dsh-scheduler：cron 表达式 + every:N 间隔 + 命令动作
- 工具：sched_add / sched_list / sched_remove / sched_run_now / sched_toggle / sched_diag
- 持久化到 %DSH_HOME%\storages\dsh-scheduler.json（Unicode 安全）
- 端到端验证：任务自动执行、重启保留
- GUI 管理面板（下一阶段）
3️⃣ 电脑操作模式（进行中，因余额暂停）
- dsh-computer 插件（8 工具注册，已运行）
- screen_capture 截图 ✅（实测 1707x1067）
- 视觉链路（mmx M3 直连 API）✅
- screen_move/click/type/key/list_windows/ui_tree 工具编写完成
- 修 screen_vision 语法错误（一行式 IIFE）
- 修 screen_list_windows 经宿主 shell 返回空的问题
- 闭环实测：截图→看懂→点击→再看
- 详细进度与排查方案：docs/computer-use-PROGRESS.md
4️⃣ 内置浏览器操控
- Edge CDP 驱动（导航/点击/填表/截页）
- GUI 内嵌浏览器面板（webServer 反代 iframe）
5️⃣ 吉祥物悬浮助手
- shell.overlay 右下角 🐋 浮窗 + 迷你对话 + 快捷按钮
6️⃣ 体验打磨
- Agent Presets（computer-use / dev）
- 快捷键、布局优化、开机自启
7️⃣ 留档与发布
- 本地仓库 D:\project\dsh-enhancements（git init + 结构）
- 推送到 Gitea jiangchen/dsh-enhancements
- 推送到 GitHub jiangchen1245/dsh-enhancements
- 脱敏检查（无 Key/Token/密码）
技术要点
- 沙箱：curl/winget 的 HTTPS 被禁，node fetch 可用 → 网络操作统一走 node
- 客户端无 window/document/fetch → 打开外链由 Host 侧 shell 完成
- 动态插件不持久 → 每个插件同时落盘为 presets/ 文件与源码归档
- 升级覆盖 → mmx 桥接补丁保留重放脚本（PATCH.md）
- 凭据 → 一律系统凭据管理器，不入库、不进 .git/config
安全红线
- 仓库绝不包含 API Key / Token / 密码
- Gitea remote 不用内嵌密码 URL；用凭据管理器
- .credentials.yaml 只留在部署机