LLM 作为调查受访者：与简单语义基线的比较

摘要

一项研究让三项 LLM 在两份态度量表（自动驾驶与轻型电动车）上预测被遮蔽条目，并与基于嵌入相似度的简单基线对比。结果显示 LLM 整体优于基线，但随已知答案比例下降而性能下滑，在一份量表中甚至与基线持平。研究据此指出，数据稀缺时 LLM 可能退化为嵌入相似度启发式，数据增强的效力有限。

为什么值得看：论文用两份态度量表对比 LLM 与嵌入相似度基线，指出数据稀缺时 LLM 的推断可能退化为表层相似。

来源与原文