江晨
3e364d576d
- docs/computer-use-PROGRESS.md: 已完成/已知问题/关键机制踩坑记录 - tools/test-enum.ps1: EnumWindows 基准脚本（本机验证可用） - PLAN.md 更新：阶段3进行中，因余额暂停
75 lines
3.3 KiB
Markdown
75 lines
3.3 KiB
Markdown
# 总体规划：把 DeepSeek Harness 升级为 Codex 级智能助手
|
||
|
||
> 状态：**暂停**（用户 API 余额不足，2026-08-17）。目标已挂起，续作时从
|
||
> `docs/computer-use-PROGRESS.md` 的已知问题开始。
|
||
|
||
## 目标
|
||
|
||
用户头像/API 消耗、GitHub/Gitea 集成、定时任务、电脑操作模式（截图+视觉+鼠标键盘）、
|
||
内置浏览器操控、吉祥物悬浮助手，全部成果留档并发布到 GitHub/Gitea 仓库。
|
||
|
||
## 现状盘点（已验证）
|
||
|
||
- 桌面应用化：快捷方式 → 托盘（dsh-app.ps1）→ Edge 独立窗口 ✅
|
||
- 聊天发图 + 视觉理解：mmx 桥接（MiniMax M3 via NVIDIA）✅
|
||
- 动态 Cordis 插件（Host/Client 双向）✅
|
||
- git 2.55 + GitHub（jiangchen1245）+ 自建 Gitea（gitea.truestudio.online）✅
|
||
- DeepSeek 官方余额 API 可用（GET https://api.deepseek.com/user/balance）✅
|
||
|
||
## 阶段
|
||
|
||
### 1️⃣ GitHub / Gitea 集成（进行中）
|
||
- [x] 验证 Gitea 凭据（git 协议 + API basic auth）
|
||
- [x] 留档仓库 jiangchen/dsh-enhancements 已在 Gitea 上线
|
||
- [ ] 装 gh CLI（沙箱内 github CDN 不通，需用户手动 winget 安装）
|
||
- [ ] dsh-git 插件：repo_status / gh_issue / gh_pr / gh_commit / gh_push
|
||
- [ ] GUI"Git 中心"面板
|
||
|
||
### 2️⃣ 定时任务插件 ✅（核心完成）
|
||
- [x] dsh-scheduler：cron 表达式 + every:N 间隔 + 命令动作
|
||
- [x] 工具：sched_add / sched_list / sched_remove / sched_run_now / sched_toggle / sched_diag
|
||
- [x] 持久化到 %DSH_HOME%\storages\dsh-scheduler.json（Unicode 安全）
|
||
- [x] 端到端验证：任务自动执行、重启保留
|
||
- [ ] GUI 管理面板（下一阶段）
|
||
|
||
### 3️⃣ 电脑操作模式（进行中，因余额暂停）
|
||
- [x] dsh-computer 插件（8 工具注册，已运行）
|
||
- [x] screen_capture 截图 ✅（实测 1707x1067）
|
||
- [x] 视觉链路（mmx M3 直连 API）✅
|
||
- [x] screen_move/click/type/key/list_windows/ui_tree 工具编写完成
|
||
- [ ] 修 screen_vision 语法错误（一行式 IIFE）
|
||
- [ ] 修 screen_list_windows 经宿主 shell 返回空的问题
|
||
- [ ] 闭环实测：截图→看懂→点击→再看
|
||
- 详细进度与排查方案：docs/computer-use-PROGRESS.md
|
||
|
||
### 4️⃣ 内置浏览器操控
|
||
- [ ] Edge CDP 驱动（导航/点击/填表/截页）
|
||
- [ ] GUI 内嵌浏览器面板（webServer 反代 iframe）
|
||
|
||
### 5️⃣ 吉祥物悬浮助手
|
||
- [ ] shell.overlay 右下角 🐋 浮窗 + 迷你对话 + 快捷按钮
|
||
|
||
### 6️⃣ 体验打磨
|
||
- [ ] Agent Presets（computer-use / dev）
|
||
- [ ] 快捷键、布局优化、开机自启
|
||
|
||
### 7️⃣ 留档与发布
|
||
- [x] 本地仓库 D:\project\dsh-enhancements（git init + 结构）
|
||
- [ ] 推送到 Gitea jiangchen/dsh-enhancements
|
||
- [ ] 推送到 GitHub jiangchen1245/dsh-enhancements
|
||
- [ ] 脱敏检查（无 Key/Token/密码）
|
||
|
||
## 技术要点
|
||
|
||
- 沙箱：curl/winget 的 HTTPS 被禁，node fetch 可用 → 网络操作统一走 node
|
||
- 客户端无 window/document/fetch → 打开外链由 Host 侧 shell 完成
|
||
- 动态插件不持久 → 每个插件同时落盘为 presets/ 文件与源码归档
|
||
- 升级覆盖 → mmx 桥接补丁保留重放脚本（PATCH.md）
|
||
- 凭据 → 一律系统凭据管理器，不入库、不进 .git/config
|
||
|
||
## 安全红线
|
||
|
||
- 仓库绝不包含 API Key / Token / 密码
|
||
- Gitea remote 不用内嵌密码 URL；用凭据管理器
|
||
- .credentials.yaml 只留在部署机
|