优化效果指标与统计口径¶
成熟度:
provisional。整理历史指标方案及其使用边界,不代表当前平台已实现全部指标。下文统计集合约束是本次整理建议,原文中的临时口径、示例公式和待补字段另行说明。
来源与字段¶
- 来源:2026-09-20 归档清单中的《SQL大模型优化指标体系与计算方法.md》,清单修改日期 2026-07-15,入库日期 2026-09-22。
- 下载原始 Markdown 文本。
| 原字段 | 含义 |
|---|---|
| D / L | SQL 指纹 / 是否可优化 |
| K / N / P | 原 SQL / 对比平台方案 / 模型方案的测试耗时 |
| M / O | 对比平台方案 / 模型方案 |
| R / S | DBA 复核 / 开发认可反馈 |
| T / U / V / W | 是否修改 / 最终方案 / 不修改原因 / 后续说明 |
先固定统计对象,再计算比例¶
建议按批次、SQL 标识和方案版本确定记录粒度,同一 SQL 多轮生成不能混作多个独立 SQL。方案级与原子建议级指标分别统计。候选范围、参数、环境、模型及工作流版本都应随报告记录。
以下定义用于明确分母:C 为同批次候选 SQL 集合,G 为 C 中有有效模型方案的 SQL,V 为 G 中完成有效性能测量的 SQL,R 为 G 中完成针对该模型方案的有效 DBA 复核记录。每个分子的对象必须属于对应分母。
| 指标 | 建议口径 | 解释限制 |
|---|---|---|
| 模型方案覆盖率 | G 数量 / C 数量 | 有方案,不等于可执行或正确 |
| 性能验证覆盖率 | V 数量 / G 数量 | 有有效测量,不等于提速或等价 |
| DBA 复核覆盖率 | R 数量 / G 数量 | 有有效复核结论,不等于通过 |
| 开发反馈率 | R 中有有效 S 反馈的数量 / R 数量 | 有反馈包含不认可 |
| DBA 完全通过率 | R 中完全通过的数量 / R 数量 | “修改后通过”应单独报告 |
| 开发认可率 | 有效反馈中认可的数量 / 有效反馈数量 | 主观认可,不代表实际修改 |
| 最终采纳率 | T=是的数量 / T 为是或否的数量 | 待定不进入分母,同时披露待定数量 |
| 模型直接采纳率 | 已采纳中 U 与 O 核心动作一致的数量 / 已采纳数量 | 需核对方案来源,不能把 DBA 新方案归功于模型 |
没有分母时显示“不适用/暂无样本”,不要填 0%。空白、错误、无法验证和未反馈分别记录;异常孤立记录如“P 有值但 O 为空”应先列入数据质量问题。
例如 100 条候选中,80 条生成方案、60 条完成性能测量、40 条完成复核,则三项覆盖率分别为 80%、75%、50%。若只有 20 条形成最终决策,其中 12 条采纳,则采纳率是 60%,不能表述为 60% 的候选都已采纳。此例为解释口径的合成数据。
性能数字如何解释¶
对有效、成功完成且可比的配对测量,要求 K>0,P 为非负有效时长;零值须核查计时分辨率,不能将缺失或失败填成零。
耗时下降比例 = (K - P) / K
原文将其称为“提速率”。例如 10 秒降到 6 秒,耗时下降 40%;若用 K/P 表示速度倍数,则约为 1.67 倍,两者不能混称。
提速成功率、回退率和分位数需基于相同有效测量群体,保留失败、超时及未测数量。纯性能统计可以记录结果不一致方案的耗时,但必须将其标为正确性失败,不计为安全有效优化。
对比平台 N 与模型 P 时,先匹配相同数据、参数、环境、计时和预热方式;检查双方正确性范围后再报告“有效方案胜率”。原文的 P<N 仅是速度比较,不自动包含正确性门禁。
原文中的临时口径和公式限制¶
| 原文内容 | 使用时必须说明 |
|---|---|
| 用 M 非空代替候选 SQL | 临时代理,仅表示对比平台生成了方案;正式候选应清洗 L 并记录判断依据 |
| Excel 第 2~230 行 | 示例数据范围,不能当作永久统计范围 |
| 分别 COUNTIF(O)/COUNTIF(M) | 未保证 O 的记录属于 M 候选群体;应逐行限定同一候选集合 |
| COUNTIF(R)/COUNTIF(O) | 未限定复核对象;必须只统计对该模型方案的有效复核 |
| P 为数字、字段非空 | 仍需排除失败占位值、无效文本和不对应的方案版本 |
| 提速 20%、回退容差 5% | 原文初始建议,需结合测试噪声及业务目标确定并版本化 |
| 直接 P<N 与至少快 5% | 原文存在两种胜负定义,应选定一种并明确持平区间 |
| 认可权重 1 / 0.7 / 0.5 | 人为评分约定,不是客观正确率;跨版本比较应保持权重一致 |
原文部分公式旁已标注“需要修改”。本页保留原文供追溯,以统计集合解释正确的计数边界,不将示例公式直接发布为可执行的统一计算契约。
复核、采纳和生产收益分别留证据¶
T 为“是”需附 U 最终方案,为“否”需附 V 原因,为“待定”应记录责任人和计划日期。待定记录即使补齐后续安排,也只说明反馈信息完整,不表示采纳或上线闭环完成。
实际修改、发布上线、生产收益验证是不同状态。原文的安全有效采纳率还要求模型贡献、生产有收益且没有回滚;需要上线日期、验证窗口、生产采样和回滚记录,不能仅凭 T=是计算。无回滚也必须限定观察窗口。
原文提出“模型安全有效率”为等价验证通过、无明显回退且 DBA 完全或修改后通过的方案比例。使用时须绑定被测方案版本:“修改后通过”的最终版本应重新测试,并与模型原始版本表现分开报告。
正确性结论必须附验证协议。抽样通过不能直接进入名为“全量等价通过率”的分子,未完成验证也不能当作已通过。详见结果一致性验证与语义等价边界。
最小可复核报告¶
报告至少展示批次与版本、候选定义、分子/分母数量、缺失及失败数量、计时和一致性协议、复核对象与结论、采纳来源和生产观察窗口。结果等价、参数场景、上线、回滚等字段未采集时,相关指标标“暂不可计算”。
关联阅读:时间基准与计时口径、测试数据治理与稳定基线。