真知浩见出品论文T2
启发式评分器与语言模型在移动 UI 质量评分上的差异刻画
Characterising divergence between heuristic and language-model ratings of mobile user interface quality
arXiv cs.HC · 发布于 2026-11-11 13:00 · 收录于 2026-11-11
摘要
一项研究用 RICO 的 15,000 屏语料，比较启发式评分器与三个开放权重语言模型在两种输入表示下的 270,000 条移动 UI 质量评分，发现原始一致性普遍很弱。18 个模型—表示—维度组合中有 17 个线性加权 Cohen's kappa 低于 0.15，但 15 个可统计区分于零，偏移校正后 5 个超过 0.15，差异更像系统偏差叠加弱共变。
论文/研究多模态