工具软件
工具档案:Arize Phoenix——面向 agent 过程评测的开源可观测工具
Arize Phoenix 是开源的 LLM 可观测与评测工具,agent 评测能力突出,商业版为 Arize AX(第三方社区对比口径)。在 Forward Deployed Engineer(FDE,前置部署工程师)交付里,它适合在 a…
编辑说FDEChina编辑部
这张卡的定位词是「过程评测」。端到端评测只告诉你结果错了,过程评测告诉你错在第几步:是检索没取到、工具选错,还是编排顺序有问题。agent 项目越复杂,过程评测的杠杆越大,这是 Phoenix 在开源生态里的差异化位置。误用点是把它当纯监控面板用——只看大盘不看单条 trace,等于花了过程评测的钱买了结果监控。
相比端到端评测工具的档案卡,这张卡的增量是把「trace 回流评测集」这个动作显式化:线上真实流量是最好的评测数据来源,FDE 应该设计从 trace 到评测集的固定流水线。国内语境下开源可自托管依旧是硬条件,Phoenix 与 Langfuse 的分工可以按「过程分析」与「业务看板」划分。行动建议:从线上挑 50 条失败 trace,标注失败步骤,沉淀成第一份过程评测集。