真知浩见出品方法T2
Vistaly 为 1 个客户反馈做了 4 个新 eval 与 16 个实验变体
4 New Evals and 16 Experiment Variants to Fix 1 Customer Complaint
Product Talk（Teresa Torres） · 发布于 2026-09-16 21:00 · 收录于 2026-10-22
摘要
Teresa Torres 与 Vistaly 为修复一条客户反馈投入 4 个新 eval 与 16 个实验变体，该反馈指 AI 生成的机会解决方案树在一个分支上缺少层级。她先用代码断言的 tree-shape eval 统计父节点的子节点分布，再用 LLM-as-a-Judge 判断是否存在漏掉的子分组。在人工标注的校准集上，judge 的 recall 为 100%，specificity 只有 43.75%，会把没有漏分组的节点判成有。
为什么值得看：作者用 4 个 eval 与 16 个实验变体追查一个客户反馈，展示了给 AI 输出做质检的可迁移做法。
方法/实践定性分析Agent