arXiv 论文比较文本与音频偏好标注：同一批 100 条提示词的判断差异

摘要

一篇 arXiv 论文用 ICC 对比同一批 100 条提示词在文本与音频下的偏好标注，发现两种模态的评分者一致性差异明显，音频 ICC(2,k) 约 0.81、文本约 0.74，达到该水平约需 9 名评分者。音频评分者决策阈值更窄、长度偏差更小、更偏向以用户为中心的评估标准，而跨模态一致性接近随机水平。作者据此认为音频偏好数据的评测协议需要按模态单独设计，而非直接沿用文本方案，并指出合成评分可用于预测评分者一致性、作为刺激材料筛选的早期信号；代码、数据和音频语料已在 Hugging Face 公开。

为什么值得看：同一批 100 条提示词在文本与音频下的偏好判断差异明显，为评测协议是否需按模态分别设计提供了比较依据。

来源与原文