跳转至

Agent Memory 与评测实习任务说明改写 Implementation Plan

分支文档快照 · 同步于 2026-09-09 · 来源：origin/summer-intern @ 9f4cdc5 · 原路径：docs/superpowers/plans/2026-07-10-agent-memory-evaluation-internship-doc-rewrite.md。正文描述的是该分支的方案或进展，合入与验收状态以当前看板为准。

For agentic workers: REQUIRED SUB-SKILL: Use superpowers:subagent-driven-development (recommended) or superpowers:executing-plans to implement this plan task-by-task. Steps use checkbox (- [ ]) syntax for tracking.

Goal: 将现有实习生任务说明改写为以通用 Memory 与 Agent 评测方法为首要目标、以 sqlopt-skills 为验证平台的可执行任务书。

Architecture: 只修改现有任务说明，不搭建独立 Agent 或评测产品。文档采用“目标—项目映射—两人主责—共同协议—周计划—指标验收—风险降级”结构，明确区分通用方法成果和 SQL 验证证据。

Tech Stack: Markdown、Git、仓库现有 skills、测试和 0625/0626 历史 fixtures。

Global Constraints

  • 周期为 8 周，每人每周约 2 天，单人约 16 人天。
  • 第一目标是形成通用 Memory 与评测方法，第二目标是用 SQL 项目验证，第三目标才是观察优化效果。
  • Memory 原型落在当前 skills 流水线；LangGraph、Mem0/MemGPT、RAG 仅用于调研和选型对照。
  • 模型可用但数据库环境受限；离线证据不得表述为线上性能结论。
  • 不把固定优化率提升作为结项门槛。
  • 独立 LangGraph Agent、完整 Multi-Agent、SQLite CRUD、Web UI、强制 200 条标注和生产级向量库均不属于 P0。
  • 保留用户工作区的其他修改，提交时只暂存目标任务说明。

Task 1: 重写目标定位与项目对应关系

Files: - Modify: docs/TDSQL_Agent能力探索_实习生任务说明.md:1 - Reference: docs/superpowers/specs/2026-07-10-agent-memory-evaluation-internship-design.md

Interfaces: - Consumes: 已确认规范中的目标层级、项目落点和范围判断。 - Produces: 后续分工、指标和验收引用的统一定位。

  • Step 1: 保存现有结构基线

Run: grep -n '^##\|^###' docs/TDSQL_Agent能力探索_实习生任务说明.md

Expected: 输出当前方向、共同时间线和其他事项标题。

  • Step 2: 改写标题、背景与目标层级

文档开头使用以下内容，并保留投入约束：

# Agent Memory 与评测通用方法探索——实习生任务说明

> 本项目以 `sqlopt-skills` SQL 优化流水线为统一验证平台。第一目标是形成可迁移的 Agent Memory 与评测方法，第二目标是验证方法的可操作性和可复现性，第三目标才是观察 SQL 优化效果。优化率变化是实验结果，不是预先承诺的 KPI。
  • Step 3: 写入项目对应关系表
| 通用研究对象 | 当前项目验证点 |
|---|---|
| 工作记忆与任务状态 | `agent-workspace/ws_xxx/cases/{case}/round_N/` |
| 数据库上下文 | `table_ctx_cache/` 与 `table_ctx.py` |
| 结果和经验记忆 | `results/*_result.json` |
| 记忆注入阶段 | SQL 分析、生成、复核 skills |
| 评测证据链 | `collect_results.py`、export 脚本与历史 fixtures |
| 回归验证 | 现有状态机单测和 E2E 测试 |
  • Step 4: 删除冲突承诺

将“20%→50%”降为业务背景，删除 Memory +8~12%、评测 +10~15% 等预估贡献，并删除完整平台和 200 条标注的强制 P0 要求。

  • Step 5: 检查目标表达

Run: grep -nE '20%|50%|8~12|10~15|LangGraph|200 条' docs/TDSQL_Agent能力探索_实习生任务说明.md

Expected: 20%/50% 若存在仅作为业务背景；LangGraph 仅作为调研对照；不存在固定贡献承诺和强制 200 条标注。

Task 2: 重写两位实习生的任务与交付物

Files: - Modify: docs/TDSQL_Agent能力探索_实习生任务说明.md - Reference: docs/superpowers/specs/2026-07-10-agent-memory-evaluation-internship-design.md:43

Interfaces: - Consumes: Task 1 的统一定位。 - Produces: 实习生 A/B 的 P0、P1、责任边界和六项交付物。

  • Step 1: 写入 Memory P0/P1

P0 逐项包含：当前 Memory 生命周期盘点；LangGraph Checkpointer、Mem0/MemGPT、RAG 选型矩阵；工作/语义/情景/工具过程四类 taxonomy；含作用域、来源、证据、适用条件、置信度、版本、失效条件的经验 schema；上下文基线与按需加载原型；结构化过滤加文本相似度的轻量召回；有/无 Memory 消融；通用方法论和 SQL 案例。P1 仅保留 Skill 阶段注入与多角色 Memory 共享/隔离设计。

  • Step 2: 写入评测 P0/P1

P0 逐项包含：现有测试资产盘点；真实执行、规则、人工和 LLM-as-Judge 的证据等级；通用 run schema；核心集/回归集/挑战集；批量与单例复现 runner；失败 taxonomy；消融、重复、稳定性和抽样真实验证；通用方法论与复现指南。P1 仅保留 Judge 一致性与条件允许时的跨库差异。

  • Step 3: 用六项主交付物替换过载清单
| D1 | Agent Memory 通用方法论 |
| D2 | Memory 最小参考实现与 SQL 案例 |
| D3 | Agent 评测通用方法论 |
| D4 | 评测协议、run schema 与轻量 runner |
| D5 | Memory 消融实验报告 |
| D6 | 通用方法迁移总结 |

为每项补充主责人、协作人和可验收证据。

  • Step 4: 检查任务与交付物映射

Run: grep -nE 'D[1-6]|taxonomy|run schema|消融|复现' docs/TDSQL_Agent能力探索_实习生任务说明.md

Expected: D1 至 D6 均存在；taxonomy、run schema、消融和复现都有明确任务。

Task 3: 写入共同协议、周计划、指标与风险规则

Files: - Modify: docs/TDSQL_Agent能力探索_实习生任务说明.md - Reference: docs/superpowers/specs/2026-07-10-agent-memory-evaluation-internship-design.md:113

Interfaces: - Consumes: Task 2 中 Memory 策略与 runner 的责任边界。 - Produces: 两人接口、八周节奏、指标和降级规则。

  • Step 1: 写入共同实验协议

Memory 输出必须包含 strategy_id、版本、配置、候选记忆、召回结果、注入内容、拒绝原因和 run_id。评测记录必须包含样本、模型、提示、代码版本、随机参数、输入输出、指标、失败标签和证据来源。

  • Step 2: 替换八周时间线

逐周共同里程碑固定为：W1 现状清单；W2 冻结协议、基线和样本；W3 schema 与核心集评审；W4 上下文消融；W5 有/无 Memory A/B v1；W6 中期结论；W7 最终消融和失败案例；W8 方法论、复现指南与迁移路线图。每周分别列出两位主责人的任务。

  • Step 3: 写入三层指标

Memory 指标包含召回命中、关键上下文覆盖、无关上下文、token 成本、污染、跨任务复用和错误记忆退化。评测指标包含用例覆盖、指标可计算、重复一致、失败可归因、人工一致、证据可追溯和复跑成功。SQL 等价性、建议有效率和耗时改善单列为验证指标。

  • Step 4: 写入证据边界和降级顺序
- 数据库不可用时，历史 fixtures 可支持离线方法验证，但不得外推为线上性能结论。
- 降级顺序：Skill 模式实验 → 向量数据库 → SQL 回归集规模 → 真实数据库验证规模。
- 不得降级：通用方法文档、统一协议、对照/消融、失败归因和复现说明。
  • Step 5: 检查周次和约束

Run: grep -nE 'W[1-8]|16 人天|降级|不得降级|离线证据|线上性能' docs/TDSQL_Agent能力探索_实习生任务说明.md

Expected: W1 至 W8、约 16 人天、证据边界和降级规则均存在。

Task 4: 文档质量校验与独立提交

Files: - Verify: docs/TDSQL_Agent能力探索_实习生任务说明.md - Do not stage: 用户工作区中的其他修改

Interfaces: - Consumes: Tasks 1 至 3 的完整改写。 - Produces: 可供负责人和实习生直接评审的最终任务书。

  • Step 1: 检查完整结构

Run: grep -n '^#\|^##\|^###' docs/TDSQL_Agent能力探索_实习生任务说明.md

Expected: 依次包含目标定位、项目对应、组织方式、Memory、评测、共同协议、指标、八周安排、交付验收、范围控制和成功判定。

  • Step 2: 扫描占位符和冲突

Run: grep -nE 'TBD|TODO|待定|必须提升|\+8~12|\+10~15|完整 CRUD' docs/TDSQL_Agent能力探索_实习生任务说明.md

Expected: 无输出。

  • Step 3: 检查 Markdown 与最终 diff

Run: git diff --check -- docs/TDSQL_Agent能力探索_实习生任务说明.md

Expected: 无输出。随后运行 git diff -- docs/TDSQL_Agent能力探索_实习生任务说明.md，人工确认六项交付物、三层指标、八周里程碑和范围降级全部存在。

  • Step 4: 只暂存目标文件

Run: git add -- docs/TDSQL_Agent能力探索_实习生任务说明.md && git diff --cached --name-only

Expected: 仅输出 docs/TDSQL_Agent能力探索_实习生任务说明.md。

  • Step 5: 提交

Run: git commit -m "docs: align intern tasks with memory evaluation methods"

Expected: 新提交只包含目标任务说明文档。