真知浩见出品论文T2
研究提出判断 LLM 合成用户样本库何时可信的诊断与修正框架
When Can You Trust Your Synthetic Users? Diagnostics and Corrections for LLM Consumer Panels
arXiv cs.HC · 发布于 2026-10-27 12:00 · 收录于 2026-10-27
摘要
该论文提出一套框架，用来判断 LLM 合成消费者样本库何时可信任、可修正或应弃用；框架用协变量重叠、条件校准与跨模型稳定性做诊断。修正需要完整的邀请名单、所有受邀者的应答指示和受访者的真人结果，并要求数据随机缺失且满足正值性假设。在 ANES 与 Twin-2K-500 的配对真人及 LLM 回答模拟中，部分可识别情形下名义 95% 置信区间仅覆盖 88–94%；当非应答依赖缺失的真人结果时，偏差仍然明显，覆盖率接近零。
为什么值得看：论文给出诊断协变量重叠、条件校准与跨模型稳定性的判断框架，并指出修正只能依赖可获得的真人数据与识别假设。
论文/研究合成用户问卷/定量