跳转至

优化效果指标与统计口径

成熟度:provisional。整理历史指标方案及其使用边界,不代表当前平台已实现全部指标。下文统计集合约束是本次整理建议,原文中的临时口径、示例公式和待补字段另行说明。

来源与字段

  • 来源:2026-09-20 归档清单中的《SQL大模型优化指标体系与计算方法.md》,清单修改日期 2026-07-15,入库日期 2026-09-22。
  • 下载原始 Markdown 文本。
原字段 含义
D / L SQL 指纹 / 是否可优化
K / N / P 原 SQL / 对比平台方案 / 模型方案的测试耗时
M / O 对比平台方案 / 模型方案
R / S DBA 复核 / 开发认可反馈
T / U / V / W 是否修改 / 最终方案 / 不修改原因 / 后续说明

先固定统计对象,再计算比例

建议按批次、SQL 标识和方案版本确定记录粒度,同一 SQL 多轮生成不能混作多个独立 SQL。方案级与原子建议级指标分别统计。候选范围、参数、环境、模型及工作流版本都应随报告记录。

以下定义用于明确分母:C 为同批次候选 SQL 集合,G 为 C 中有有效模型方案的 SQL,V 为 G 中完成有效性能测量的 SQL,R 为 G 中完成针对该模型方案的有效 DBA 复核记录。每个分子的对象必须属于对应分母。

指标 建议口径 解释限制
模型方案覆盖率 G 数量 / C 数量 有方案,不等于可执行或正确
性能验证覆盖率 V 数量 / G 数量 有有效测量,不等于提速或等价
DBA 复核覆盖率 R 数量 / G 数量 有有效复核结论,不等于通过
开发反馈率 R 中有有效 S 反馈的数量 / R 数量 有反馈包含不认可
DBA 完全通过率 R 中完全通过的数量 / R 数量 “修改后通过”应单独报告
开发认可率 有效反馈中认可的数量 / 有效反馈数量 主观认可,不代表实际修改
最终采纳率 T=是的数量 / T 为是或否的数量 待定不进入分母,同时披露待定数量
模型直接采纳率 已采纳中 U 与 O 核心动作一致的数量 / 已采纳数量 需核对方案来源,不能把 DBA 新方案归功于模型

没有分母时显示“不适用/暂无样本”,不要填 0%。空白、错误、无法验证和未反馈分别记录;异常孤立记录如“P 有值但 O 为空”应先列入数据质量问题。

例如 100 条候选中,80 条生成方案、60 条完成性能测量、40 条完成复核,则三项覆盖率分别为 80%、75%、50%。若只有 20 条形成最终决策,其中 12 条采纳,则采纳率是 60%,不能表述为 60% 的候选都已采纳。此例为解释口径的合成数据。

性能数字如何解释

对有效、成功完成且可比的配对测量,要求 K>0,P 为非负有效时长;零值须核查计时分辨率,不能将缺失或失败填成零。

耗时下降比例 = (K - P) / K

原文将其称为“提速率”。例如 10 秒降到 6 秒,耗时下降 40%;若用 K/P 表示速度倍数,则约为 1.67 倍,两者不能混称。

提速成功率、回退率和分位数需基于相同有效测量群体,保留失败、超时及未测数量。纯性能统计可以记录结果不一致方案的耗时,但必须将其标为正确性失败,不计为安全有效优化。

对比平台 N 与模型 P 时,先匹配相同数据、参数、环境、计时和预热方式;检查双方正确性范围后再报告“有效方案胜率”。原文的 P<N 仅是速度比较,不自动包含正确性门禁。

原文中的临时口径和公式限制

原文内容 使用时必须说明
用 M 非空代替候选 SQL 临时代理,仅表示对比平台生成了方案;正式候选应清洗 L 并记录判断依据
Excel 第 2~230 行 示例数据范围,不能当作永久统计范围
分别 COUNTIF(O)/COUNTIF(M) 未保证 O 的记录属于 M 候选群体;应逐行限定同一候选集合
COUNTIF(R)/COUNTIF(O) 未限定复核对象;必须只统计对该模型方案的有效复核
P 为数字、字段非空 仍需排除失败占位值、无效文本和不对应的方案版本
提速 20%、回退容差 5% 原文初始建议,需结合测试噪声及业务目标确定并版本化
直接 P<N 与至少快 5% 原文存在两种胜负定义,应选定一种并明确持平区间
认可权重 1 / 0.7 / 0.5 人为评分约定,不是客观正确率;跨版本比较应保持权重一致

原文部分公式旁已标注“需要修改”。本页保留原文供追溯,以统计集合解释正确的计数边界,不将示例公式直接发布为可执行的统一计算契约。

复核、采纳和生产收益分别留证据

T 为“是”需附 U 最终方案,为“否”需附 V 原因,为“待定”应记录责任人和计划日期。待定记录即使补齐后续安排,也只说明反馈信息完整,不表示采纳或上线闭环完成。

实际修改、发布上线、生产收益验证是不同状态。原文的安全有效采纳率还要求模型贡献、生产有收益且没有回滚;需要上线日期、验证窗口、生产采样和回滚记录,不能仅凭 T=是计算。无回滚也必须限定观察窗口。

原文提出“模型安全有效率”为等价验证通过、无明显回退且 DBA 完全或修改后通过的方案比例。使用时须绑定被测方案版本:“修改后通过”的最终版本应重新测试,并与模型原始版本表现分开报告。

正确性结论必须附验证协议。抽样通过不能直接进入名为“全量等价通过率”的分子,未完成验证也不能当作已通过。详见结果一致性验证与语义等价边界。

最小可复核报告

报告至少展示批次与版本、候选定义、分子/分母数量、缺失及失败数量、计时和一致性协议、复核对象与结论、采纳来源和生产观察窗口。结果等价、参数场景、上线、回滚等字段未采集时,相关指标标“暂不可计算”。

关联阅读:时间基准与计时口径、测试数据治理与稳定基线。