这张卡讲离线评测接不住的那一半：上线之后，真实表现怎么持续度量。
核心拆解：在线评测在生产流量上持续观测真实表现，形态包括业务结果指标、用户显式反馈与线上抽样人工评估。它的独特价值是发现离线测不到的东西——分布漂移、时效失效、真实用法偏差。最常犯的错是指标选取脱离业务：点了个赞不等于任务完成，要找到与客户价值直接挂钩的度量，并向客户证明这个对应关系。
增量判断：在线评测与离线评测要能互相翻译：线上退化要能解回离线用例，形成闭环。国内语境要叠加合规红线——生产流量数据进评测流程前必须脱敏与授权，这类数据正是敏感等级最高的一层。
行动建议：为你的系统确定一个与客户价值直接挂钩的在线北极星指标，并设计它到离线用例的回流通道。口径文档要双方签字确认，不能停在邮件往来。
—— FDEChina编辑部 · 架构师视角
定义
在线评测（Online Evaluation）指系统上线后，在生产流量上持续度量真实表现的评测方式，形态包括业务结果指标、用户显式反馈、会话行为信号与线上抽样评估。
展开
它是离线评测的校准器：离线分数再好，也测不到真实分布的漂移、用户实际的提问方式与知识库时效失效。在线评测的第一难在指标选取——点赞率、采纳率这类信号与「任务完成」之间隔着假设，FDE 要与客户一起找到与业务价值直接挂钩的度量，并把对应关系写成双方认可的口径。第二难在回流：线上发现的退化与失败案例，要能解回离线评测集的具体用例，形成「线上暴露—离线复现—修复回归」的闭环，否则在线数据只是好看的趋势图。与 A/B 测试、影子部署的辨析：后两者是受控对比实验，回答「哪个版本更好」；在线评测回答「现在这个版本好不好」，可以覆盖全量流量。合规红线：生产流量含真实业务数据，进入评测流程前必须脱敏与授权，国内数据合规语境下这是审计必查项。