这张卡讲清黄金数据集贵在哪、以及它为什么必须被「供起来」。

核心拆解:黄金数据集是经过业务方逐条确认预期答案的核心评测集,代表验收标准本身。它最容易出两类事故:一是泄漏——用例混进开发迭代过程,系统等于在考卷上训练,评测分数虚高,验收现场翻车;二是漂移——有人悄悄改用例迁就当前系统输出,黄金标准就退化成了现状记录。变更要走与合同变更同级的流程,这不是夸张。

增量判断:与普通评测集的差别在权威性:普通评测集可以快速扩展、允许带噪声,黄金集必须小而硬、逐条可信。国内交付的增量做法是与客户共建共同维护机制,验收争议发生时,黄金集就是双方共同签署过的证据。

行动建议:检查你的黄金数据集是否有变更日志与防泄漏隔离,缺哪项补哪项。这份证据链平时安静,在争议时刻才真正兑现它的价值。

—— FDEChina编辑部 · 架构师视角

定义

黄金数据集(Golden Dataset)指由业务方逐条确认预期输出的高质量核心评测集,规模通常不大但每条用例都权威可信,是验收判定与回归测试的最终依据。

展开

它与普通评测集的差别在权威性:普通评测集可以快速扩展、允许带噪声、用于日常迭代观测;黄金集必须小而硬,每条用例的预期答案都经得起商务与法务层面的追问。两条纪律决定它的价值:一是防泄漏——黄金用例一旦混入开发调试过程,系统等于对着考卷练习,评测分数虚高而真实能力不变,验收现场必然翻车;二是控变更——任何人不得为了让当前系统通过而修改用例,变更要走正式流程并留档,否则黄金集退化成现状记录。FDE 交付语境下,建议与客户共建维护机制:业务方对答案权威性负责,交付方对评测执行负责,验收争议发生时黄金集就是双方事先认可的证据链,这比事后争执「什么算好」高效得多。

参见

评测基线手册POC 验收检查清单评测回归模式