真知浩见出品论文T2
研究指出交互式 LLM 评估不能只验证评分器整体准确率
Validating the Comparison, Not Just the Scorer: Why Overall Accuracy Can Mislead in Interactive LLM Evaluation
arXiv cs.HC · 发布于 2026-10-26 12:00 · 收录于 2026-10-26
摘要
论文指出，在交互式 LLM 评估中只用整体准确率或 F1 验证自动评分器，会掩盖提示词层面的错误并扭曲提示词之间的比较结果。作者用 6 个模型、180 个虚构实体问题和 6 种提示词条件做检验，288 条平衡审计的整体 F1 为 .916，但评分器将 2.6%-33.3% 被主要评分者判为不含无依据事实主张的回答标为有问题，且各提示词下的估计并不确定。第二次审计中，评分器与两个独立 LLM 评分者评估同一批 300 个模型-问题案例，原本 9.3 个百分点的提升在两位评分者下都降到 2.3 个百分点且主要评分者区间包含零；作者建议审计计划报告的那个差值本身，并把评分者不确定性纳入最终结果。
为什么值得看：作者用 288 条与 300 个案例的两次审计说明，整体 F1 无法反映提示词层面的评分偏差。
论文/研究学术 HCI