URhot

精选

共 89 条
11月11日星期三 · 1 条
  1. MeasuringU(Jeff Sauro)· 21:44观点精选原文

    Pew 研究发现数字孪生存在与 MeasuringU 研究相同的问题

    Pew Research Center 用数字孪生完成近 300 道 ATP 调查题,平均绝对误差为 12 个百分点,结论是 AI 模型不足以替代真实人群调查。表现最好的配置为 Claude Opus 4.6 加扩展画像与专家反思,仍有约 28% 的题目误差超过 15 个百分点。MeasuringU 的两项 SUS 数字孪生实验也发现孪生系统性高估分数,其商业软件研究分别高估 10.6 和 10.4 分。

    #观点/讨论#合成用户#问卷/定量

    为什么值得看:文章对比 Pew 与 MeasuringU 的数字孪生实验,呈现合成用户在问卷作答中的系统性偏差和模型差异。

11月8日星期日 · 2 条
  1. Listen Labs· 13:08方法精选原文

    Listen Labs 梳理三类数字孪生平台并给出六步盲测验证法

    Listen Labs 增长负责人 Anish Rao 撰文把定性研究数字孪生平台分为人本数字孪生、合成人设与 AI 主持真人访谈三类,并提出六步盲测验证法。文中引用 Science Advances 的 19 项预注册研究、1,784 名个体与 164 项结果,称孪生与本人答案的平均相关约为 r = 0.20;Pew 2026 年 9 月研究在近 300 道题上录得平均绝对误差 12.4 个百分点,共和党倾向者与黑人成年人的误差更高。文章主张只有可追溯到具体真人的孪生才能支撑高风险决策,并称 Listen Twins 依托 50M+ 验证样本库、覆盖 45+ 国家、端到端交付在 24 小时内完成。

    #方法/实践#合成用户#定性分析#市场研究

    为什么值得看:文章把数字孪生平台分成三类,并给出可照做的盲测验证步骤,便于研究团队在采购前用自有访谈样本检验供应商说法。

  2. arXiv· 00:00论文精选原文

    《平均患者》研究用8组真人样本检验17个模型模拟精神科患者的逼真度

    一项研究以「信息预算」和「平均患者」假设检验17个模型模拟精神科患者的逼真度,对照8组真人样本发现模型变异低1.5—11倍。模型常将多数症状评为中等,也较少回答「无症状」,提示词、人格、模型规模与推理只能减弱这一模式。由此,AI治疗师对无症状的识别能力缺乏有效检验。

    #论文/研究#合成用户

    为什么值得看:用17个模型对照8组真人样本,量化了模拟患者回答变异偏小、少报无症状的偏差,可作为合成用户校验的参照。

11月7日星期六 · 2 条
  1. Listen Labs· 13:04方法精选原文

    Listen Labs 盘点 AI 问卷工具并给出采购验证清单

    Listen Labs 增长负责人 Anish Rao 撰写 AI 问卷工具选购对比指南,把 Listen Labs 列为首选,并引用 Pew Research 2026 年 9 月 30 日的独立基准作为依据。Pew 让一个 AI 模型套用真实 American Trends Panel 成员的人设回答 2026 年上半年三轮调查近 300 道题,合成估算与真人平均相差 12 个百分点,约 28% 的题目差距超过 15 个百分点,个体层面匹配率约 55%。文中还给出六项采购验证清单,涉及真人数据基础、个体层面输出与答案可追溯性,并对比了 PersonaPanels 与 Delve AI。

    #方法/实践#合成用户#AI 访谈#问卷/定量

    为什么值得看:文中汇总了 Pew 的独立基准与六项采购验证清单,可用于评估合成受访者工具在定价与高风险决策中的适用边界。

  2. arXiv· 00:00论文精选原文

    研究评估LLM人格模拟中的分级认知多样性

    一项研究检验LLM人格模拟能否复现人类认知差异,并以473名成年人作为对照。团队用认知反思、认知需求与大五人格设定代理,让模型完成同一套测验;模型能再现自陈人格分布,却难以反映推理任务和行为差异。Claude Sonnet 4.6无论人格设定均获CRT满分,显著偏离人类。

    #论文/研究#合成用户#问卷/定量

    为什么值得看:研究用473名成人对照LLM人格模拟,指出模型能复现自陈人格却难还原推理与行为差异,可供评估合成用户时参考。

11月6日星期五 · 1 条
  1. Dovetail Blog· 01:00工具精选新工具原文

    Dovetail 推出统一客户上下文平台 Dovetail One

    Dovetail 发布 Dovetail One,把 VoC、产品与设计、用户研究和收入智能整合到同一个客户上下文平台上。按其描述,该平台面向各类团队共用同一份客户上下文。

    #工具发布#洞察库/ResearchOps#Dovetail

    为什么值得看:原文列出四类团队数据的整合范围,可供研究者判断洞察库是否会从用研专属走向跨团队共用。

11月5日星期四 · 2 条
  1. Listen Labs· 13:09方法精选原文

    Listen Labs 盘点 AI 数字孪生案例:测了什么、哪些站得住

    Listen Labs 盘点了 6 个 AI 数字孪生案例,并按通用人设、人群混合模型、消费者数字孪生、已验证数字孪生四层分类标注各自的验证方式。文中引用 Columbia Business School 团队 19 项预注册研究,Science Advances 的“funhouse mirrors”研究报告孪生与真人在个体层面的平均相关性仅 r = 0.20,全人设孪生为 0.748,仅含人口统计信息的孪生为 0.746,两者差异不具统计显著性。MarketTwin、Delve AI 等方法的结果由厂商自报,未经独立验证,作者建议只作方向性参考。

    #方法/实践#合成用户#市场研究

    为什么值得看:文章用四层分类逐条标注各数字孪生案例的验证方式,让研究者能区分厂商自报结果与独立验证之间的距离。

  2. arXiv cs.HC· 13:00论文精选原文

    TACT:用 AI 委员会做大规模定性主题分析的实用流程

    论文提出 TACT(Traceable AI Council for Thematic analysis),用 AI 委员会在规模上完成定性主题分析,同时让团队保留对解读与判断的控制。TACT-Lite 为核心流程,TACT-Full 额外加入来自其他模型族的对抗模型,以及标出高不确定性编码的判定模型。在 256 条由其他研究者编码的 Stack Overflow 帖子数据集上,候选码本 F1 为 0.75-0.77,最终编码 F1 为 0.71-0.72;留出样本上作者人工编码与 TACT 编码的 Cohen's κ 为 0.79-0.85;每 100 条帖子的模型调用成本为 $13.77(TACT-Lite)至 $33.59(TACT-Full)。

    #论文/研究#定性分析#转写/编码#文本分析/VOC

    为什么值得看:论文给出 TACT 的双档设计、256 条帖子上的 F1 与每条成本,团队可据此估量 AI 委员会式定性编码的投入产出。

11月4日星期三 · 5 条
  1. Maze Blog· 23:11工具精选新工具原文

    Maze MCP 支持在 AI 工具内直接创建研究项目

    Maze 在其 MCP 中新增能力,研究者无需离开所用的 AI 工具即可创建研究项目。

    #工具发布#Agent

    为什么值得看:Maze 把研究创建接入 MCP,读者可以据此判断这项能力会如何影响从对话到建研究的流程。

  2. Listen Labs· 13:10方法精选原文

    Listen Labs 详解如何用 AI 做定性编码的六步流程

    Listen Labs 增长负责人 Anish Rao 发布一份 AI 定性编码操作指南,把流程拆成转写清洗、编码本构建、演绎编码、归纳编码、主题聚类与逐条溯源六步,并规定由人工负责编码本定稿和结果核验。文中列出编码本六要素,包括定义、纳入与排除标准、正反例、浅层层级和版本日志,建议抽样 10% 的编码片段对照原始录音核查。文章引用 2026 年多项研究,例如 Brown University 研究中 LLM 对描述性编码的归类正确率为 80.6%(29/36),对解释性编码为 36.4%(20/55),并列出了过度概括、编造引文和自造编码三类失败模式的应对办法。

    #方法/实践#定性分析#转写/编码#AI 访谈

    为什么值得看:文中给出编码本六要素与 10% 抽样核对的做法,可作为搭建 AI 定性编码流程时的操作参照。

  3. Listen Labs· 13:10方法精选原文

    Listen Labs 解读 AI 生成人物画像的可靠性与构建方法

    Listen Labs 梳理多项研究指出,基于真实访谈构建的 AI 人物画像可用于假设生成与方案探索,但不适合定价等高风险决策。Stanford 的 Park 等人用 1,052 名美国人的两小时访谈构建智能体,达到参与者自身重测一致性的 83%,仅按人口统计特征构建的为 74%;Ipsos 在 260 次产品测试验证中,人类加合成样本在 92% 的情况下与全人类样本得出同一预设决策。文章还归纳谄媚、刻板印象坍缩与言行差距三种失败模式,并给出从行为数据划分人群到用留出样本验证的五步构建流程。

    #方法/实践#合成用户#AI 访谈#NN/g

    为什么值得看:文章把 Stanford、NN/g、Ipsos 等来源的结论并列,并给出可复用的五步人物画像构建流程。

  4. MeasuringU(Jeff Sauro)· 10:06论文精选原文

    MeasuringU 实验对比 AI 与人类主持访谈的主题覆盖

    MeasuringU 的 20 人随机对照实验显示,基于 Gemini 3 Flash 搭建的 AI 主持访谈在主题覆盖上整体不及人类主持。AI 主持的场次短 37%,参与者每分钟说出的词数少 45%(54 vs. 98);在 8 个主题中,人类主持在 7 个主题上的出现比例更高,仅 sleep climate 在三位编码者中均达到统计显著(p < .01)。

    #论文/研究#AI 访谈#定性分析#转写/编码

    为什么值得看:20 人随机对照实验对比 AI 与人类主持访谈,并给出主题覆盖和编码者一致性数据,可供评估 AI 主持的适用边界。

  5. UX Collective· 06:36观点精选原文

    智能体卡在人类同样会绕过的糟糕 UX 上

    在 Deck 负责计算机使用智能体的作者根据数千次智能体运行记录提出,智能体卡住的地方几乎都是人也卡住的地方,只是人会用猜测、重试和问同事把它掩盖过去。失败集中在标签含糊、状态隐藏、弹窗打断、会话超时和成功没有提示这几类,与屏幕阅读器等辅助技术所需的修复方向一致。作者据此给出可用于设计评审的自查问题,例如不会猜测的人能否走完流程、成功是否会明确告知。

    #观点/讨论#可用性测试#Agent

    为什么值得看:作者以数千次智能体运行记录说明,智能体卡住的地方往往也是人类默默绕过的设计缺陷,可迁移到可用性评审。

11月3日星期二 · 2 条
  1. Listen Labs· 13:05方法精选原文

    Listen Labs 详解合成受访者虚拟焦点小组的四类失效模式与五步验证流程

    Listen Labs 发布指南,拆解合成受访者虚拟焦点小组的三步运行方式、四类失效模式与五步验证流程。指南引用 Pew Research Center 2026 年 9 月 30 日的方法学研究,称 AI 数字孪生受访者在个体层面约 55% 的回答与真实样本库受访者一致,与真人调查估计平均相差约 12 个百分点;另引 Political Analysis 2024 年 Bisbee 等人的研究,48% 的合成回答回归系数与真人基准存在显著差异,其中 32% 符号相反。验证流程要求用同一刺激材料、10–20 名已验证真实受访者独立执行,比较偏好方向与用词,并在定价、发布等高风险决策前以真人样本重新验证。

    #方法/实践#合成用户#AI 访谈

    为什么值得看:文中列出四类合成受访者失效模式与五步验证做法,并给出在高成本决策前改用真实受访者的判定条件。

  2. arXiv· 00:00论文精选原文

    LLM 合成人群研究:人物角色并非人,身份是状态而非属性

    一篇聚焦 LLM 合成人群的研究指出,固定人格模拟难以复现具体情境中的群体行为,并提出以人在情境中为核心的评估标准与设计方法。研究区分稳定特质、情境唤起的身份与情境本身,并在 Reddit 语料及临床试验招募调查上验证。

    #论文/研究#合成用户#问卷/定量

    为什么值得看:该研究区分稳定特质与情境唤起的身份,为评估 LLM 合成人群在具体情境中的行为效度提供了框架。

11月2日星期一 · 1 条
  1. Listen Labs· 13:05方法精选原文

    Listen Labs 解析合成品牌认知测试的准确性与局限

    Listen Labs 发文解析合成品牌认知测试,结论是合成数据只在聚合层面近似辅助认知和熟悉度,不能可靠测量无提示回忆、首选认知和跨时间认知变化。文章引用 STRAT7 2026 年对约 3,000 名英国受访者的基准测试称,总体品牌认知误差约 2–3 个百分点,但 16 个品牌的同比认知变化仅 19% 判断正确,变化方向仅 47% 判断正确。文章还列出 Verasight 对 1,500 名美国成年人的研究,子群平均绝对误差超过 10 个百分点,并给出六步验证框架,建议在预算投入前用真实受访者校验追踪指标。

    #方法/实践#合成用户#问卷/定量#市场研究

    为什么值得看:文章用四项研究说明合成数据在品牌认知各指标上的可用边界,便于判断它能否进入品牌追踪调研。

11月1日星期日 · 1 条
  1. Listen Labs· 13:01方法精选原文

    Listen Labs 的 AI 虚拟焦点小组画像选型指南:合成画像与真人访谈如何取舍

    Listen Labs 增长负责人 Anish Rao 发布 AI 虚拟焦点小组画像选型指南,把平台分为纯合成画像与基于真人访谈两类,主张合成画像只作筛查工具。文中引用 Pew 2026 年数字孪生测试,近 300 道题平均误差 12.4 个百分点;Bisbee 等 2024 年研究发现 48% 的回归系数与真实数据显著不同,其中 32% 符号反转。Listen Labs 自述以 50M+ 样本网络、45+ 国家和 120+ 语言开展 AI 主持访谈,24 小时内交付结果。

    #方法/实践#合成用户#AI 访谈#定性分析

    为什么值得看:文中汇总 Pew 与 Bisbee 等独立测试的误差与回归符号反转数据,可对照合成画像和真人访谈两类平台的适用边界。

10月31日星期六 · 6 条
  1. Listen Labs· 13:16方法精选原文

    Listen Labs 按三种架构梳理 AI 消费者模拟工具的选型与可信度边界

    Listen Labs 发布按架构划分的 AI 消费者模拟工具决策指南,将其分为合成用户、人群模型和基于真人访谈的数字孪生三类。文中引用 Bisbee 等 2024 年发表于 Political Analysis 的研究,称合成受访者可匹配真实调查均值,但方差明显偏低,48% 的回归系数出现显著偏差、32% 符号反转。作者称其 Listen Twins 由真人访谈构建,数秒内返回 100+ 条带推理、原话与置信度的预测答案,并引用 Park 等 2024 年针对 1,052 人的 Stanford 研究,指出访谈构建的智能体达到人类两周重测信度的 83–86%,仅按人口统计提示的为 74%。

    #方法/实践#合成用户#市场研究

    为什么值得看:文章按合成用户、人群模型与真人数字孪生三类架构拆解可信度边界,并给出各类研究任务的选择依据。

  2. Listen Labs· 13:11方法精选原文

    Listen Labs 提供概念测试模板,含甄别问题、量化指标与 Go/Refine/Kill 规则

    Listen Labs 提供一套可直接复用的概念测试模板,按甄别、刺激展示、量化评分、开放题和 Go/Refine/Kill 规则五个步骤组织。模板用 5 点量表测量吸引力、相关性、独特性、可信度、购买意愿和价格感知,并以 top-2-box 作为主要 KPI。文章建议在测试 6 个以上概念或评分趋同时改用 MaxDiff,并用 AI 主持访谈追问每个评分背后的原因。

    #方法/实践#问卷/定量#AI 访谈#定性分析

    为什么值得看:原文把概念测试拆成甄别、刺激展示、量化评分、开放题和 Go/Refine/Kill 规则,研究者可直接改写成问卷或交给研究伙伴执行。

  3. Nielsen Norman Group· 01:00观点精选原文

    NN/g 解读 UX 在 Anthropic 智能体软件工厂中的角色

    NN/g 分析 Anthropic 在 2026 年 8 月发布的 AI 原生软件开发生命周期(SDLC)构想,指出它把 UX 简化为引导 AI 生成的后台上下文。文章将其与 Google(2026 年 5 月)和 OpenAI(2025 年 11 月)的类似发布做对比,认为三者细节不同但都把 UX 边缘化。作者提出 UX 还负责发现用户需求、强化团队对构建内容的共同判断,以及在上线前后评估产出,照搬该模型的组织可能失去 AI 上下文所依赖的用户洞察。

    #观点/讨论#Agent#NN/g

    为什么值得看:文章对照 Anthropic、Google 与 OpenAI 的 AI 原生开发流程,指出三者都把 UX 压缩成引导 AI 生成的背景上下文。

  4. arXiv· 00:00论文精选原文

    LLM 用户模拟研究:共享偏差不会被模拟器分歧发现

    一项研究以6个语言模型模拟器在GlobalOpinionQA的60题、12国数据上的分歧作为可靠性信号,检验LLM模拟用户对人类调查估计的可靠性。结果显示,分歧更能识别群组差异,而不能识别单组比例的无效估计,但多个模拟器共有的偏差不会被发现。估计并扣除共享偏差可降低误差,将高分歧比较转交人工复核也能改善判断。

    #论文/研究#合成用户#问卷/定量

    为什么值得看:研究用6个语言模型在GlobalOpinionQA的60题、12国数据上的分歧检验调查估计,并指出多个模拟器共有的偏差不会被分歧发现。

  5. arXiv· 00:00论文精选原文

    研究用人类实验数据构建语言模型行为画像以模拟分布外人类行为

    研究提出从既往人类实验数据中提取行为特征,为语言模型生成行为档案并筛选可预测特征,再用新参与者和新设计验证其对分布外人类行为的模拟。公共品、议价和金钱请求实验显示,单一有效特征优于无档案或使用通用人格,特征过多没有额外收益,跨博弈迁移有时反而降低准确性。

    #论文/研究#合成用户#行为数据

    为什么值得看:研究用人类实验数据为 LLM 生成行为档案,并给出特征数量与跨博弈迁移的取舍,可供设计合成用户时参考。

  6. Strella Blog· 00:00方法精选原文

    面向不同研究目标的开放式问卷问题示例

    Strella 博客发布一篇开放式问卷问题示例文章,按不同研究目标整理提问示例。文章以示例形式呈现,供设计开放式问题时对照参考。

    #方法/实践#问卷/定量

    为什么值得看:按不同研究目标整理开放式问卷的提问示例,可作为设计问卷时的具体参考,帮助对照研究目的选择提问方式。

10月30日星期五 · 3 条
  1. Listen Labs· 13:11方法精选原文

    Listen Labs 如何为概念测试招募难触达受众

    Listen Labs 增长负责人 Anish Rao 撰文,介绍概念测试中难触达受众的招募方法;该方法按低发生率、被把关、不信任、时间稀缺、缺席样本库五类成因分别匹配招募渠道。文中建议用行为甄别题、开放式验证题和虚构品牌排雷题筛掉职业答题者,并对时间稀缺人群按机会成本设分层激励、超额招募 20–30%。文章还称其 50M+ 验证样本网络与 Quality Guard 可在 24 小时内完成研究,并给出 45 分钟高管访谈 $150–$400、专家网络 24–72 小时安排等参照。

    #方法/实践#招募/样本#问卷/定量

    为什么值得看:按难触达成因匹配招募渠道,再用行为甄别与超额招募控制样本质量,为概念测试的招募环节提供了一套可复用的流程。

  2. Ipsos· 01:03行业精选原文

    Ipsos 任命 Mitch Barns 为美洲区董事长兼 CEO

    Ipsos 宣布任命 Mitch Barns 为美洲区董事长兼 CEO,自 2026 年 11 月 2 日起生效。他将担任 Ipsos 美国 CEO,并负责统筹 Ipsos 在加拿大和拉美地区的业务。任命消息于 2026 年 10 月 29 日在巴黎发布。

    #行业动态#Ipsos

    为什么值得看:任命信息交代了美洲区负责人将同时统管美国、加拿大与拉美业务,可用于观察 Ipsos 在美洲的组织架构调整。

  3. arXiv· 00:00论文精选原文

    AutoAnalysis 元分析纳入 420 篇论文,人机组合通常不及更优一方

    AutoAnalysis 这项可自动汇总并持续更新的元分析纳入 420 篇论文和 1955 个效应量,发现人机组合显著优于人类单独工作。但人机组合通常不及人类与 AI 中表现更优的一方,作者据此指出「优于人类」并不等于实现人机协同。

    #论文/研究

    为什么值得看:420 篇论文与 1955 个效应量的汇总显示,人机组合通常不及其中更优一方,可作为判断人机分工边界的参照。

10月29日星期四 · 2 条
  1. Listen Labs· 13:03方法精选原文

    Listen Labs 解读合成用户样本库在产品测试中的适用与失效场景

    Listen Labs 在决策指南中按概念测试、UX 流程测试、问卷预测试和定价四类任务,划分了合成用户样本库的适用与失效边界。指南指出合成受访者由大语言模型根据人设描述预测作答,只能产出假设而非决策级证据,可靠用途集中在问卷预测试、早期概念筛选和讨论提纲准备,不适合定价、可用性测试和最终决策。文中引用 Strat7 对 3,000 名真实受访者的对比,纯合成受访者在价格敏感度练习中 68% 打乱了逻辑顺序,价格比真人高约 16%,并引用 Kantar 发现 GPT-4 存在正向偏差。

    #方法/实践#合成用户#问卷/定量#可用性测试

    为什么值得看:按概念测试、可用性测试、问卷预测试和定价四类任务梳理合成用户的适用边界,并给出分阶段验证流程。

  2. arXiv· 00:00论文精选原文

    14 个视觉语言模型测试显示文本人物画像难以复现被描述者的作答

    一项研究在 14 个视觉语言模型上检验低视力、色盲、听力损失等角色提示能否模拟真实人群,结果显示角色提示从未胜过实测用户和仅采用人格事实的简单规则,反而抹平了群体与个体差异。研究还发现,描述模糊不改变模型识别,实际模糊图像才降低其表现,表明模型能陈述影响机制却不能据此看见。

    #论文/研究#合成用户#多模态#学术 HCI

    为什么值得看:14 个视觉语言模型的对比显示,角色提示在还原残障用户回答上不及简单规则,可作为评估合成用户方法的参照。

10月28日星期三 · 1 条
  1. Listen Labs· 13:10方法精选原文

    Listen Labs 撰文介绍合成受访者平台的评估与选择方法

    Listen Labs 增长负责人 Anish Rao 撰文把合成受访者平台分为从零模拟、真实数据建模和样本扩充三类,并建议采购前做留出真人对比、核查答案可追溯性、检测 persona 漂移等验证。文中引用 Pew Research Center 2026 年 9 月 30 日的研究称 AI 生成结果与人类民调平均相差 12.4 个百分点,共和党倾向者平均误差最高为 16.1 个百分点;Science Advances 同月刊出的哥伦比亚大学领衔 19 项预注册研究则发现 LLM 数字孪生在 164 个结果中有 154 个组内方差低于所模拟的真人。文章同时推介 Listen Labs 自有的 50M+ 真人网络与 Listen Twins。

    #方法/实践#合成用户#问卷/定量#市场研究

    为什么值得看:文章把合成受访者平台分为三类,引用已发表证据说明其准确性限制,并给出采购前的验证清单与场景匹配建议。

10月27日星期二 · 6 条
  1. UX Collective· 19:13观点精选原文

    为什么用 AI 生成用户画像与需求只是原地加速

    作者在这篇评论中论证,产品团队让 LLM 先定义用户需求和生成画像,得到的多是基于平均值、难以追溯的结论,速度快不等于有进展。文中引用 Atlassian《State of Product 2026》称产品经理用 AI 每天省下近两小时,但 84% 仍担心产品难以成功;NN/g 用 AI 生成受访者重跑三项研究,答案过浅;2026 年 User Interviews 对 150 名研究者的调查中 81% 常用 AI,仅 8% 用它模拟受访者,88% 担心洞察质量。作者主张先用真实访谈与支持工单完成发现,再让 AI 综合笔记、排序失败场景并生成概念。

    #观点/讨论#合成用户#定性分析#NN/g

    为什么值得看:借抢道与合成用户两个例子,作者说明先做真实用户研究再用 AI 加速,比让 LLM 先定义问题更省成本。

  2. Listen Labs· 14:16方法精选原文

    Listen Labs 如何用六步诊断流程和 AI 主持访谈查明 NPS 下滑原因

    Listen Labs 增长负责人 Anish Rao 发布一份六步诊断指南,讲解如何用 AI 主持访谈查明 NPS 下滑的原因。文中指出只有约 10% 的 NPS 受访者会留下开放题文本,一轮 5000 账户、12–25% 回收率的调研可能只收到 60–150 条评论,且 30% 以上回答只有一两个词时应视为问卷设计问题而非分析问题。Listen Labs 的做法是从 50M+ 核实样本网络中招募贬损者,在 45+ 国家、120+ 语言开展自适应 AI 主持访谈,24 小时内交付可追溯到具体受访者、原话和视频片段的结论,并可通过 Listen Labs Pulse 对接 Qualtrics、Decipher 等现有 NPS 工具。

    #方法/实践#AI 访谈#文本分析/VOC#定性分析

    为什么值得看:文中六步诊断流程把 NPS 下滑拆到人群与时间线,并指出仅靠开放题文本聚类难以定位原因。

  3. Listen Labs· 13:40方法精选原文

    Listen Labs 拆解预测式营销信息测试的 7 种方法与对应指标

    Listen Labs 增长负责人 Anish Rao 撰文拆解 7 种预测式营销信息测试方法,并说明各自评分方式与失效边界。文中以 Listen Twins 数字孪生预筛为例,称其基于 1 位真实受访者的访谈构建,可在数秒返回 100+ 条预测答案;文章还引用 Pew 研究指出合成民调平均绝对误差为 11–13 个百分点。文章列出理解度、可信度、差异化和行动意愿四项指标,并指出基于人物画像的预测只具方向性,应作为待检验假设而非最终结论。

    #方法/实践#合成用户#市场研究

    为什么值得看:文章逐一拆解七种预测式营销信息测试方法,并对照其评分指标与失效边界,便于团队判断不同方法的适用场景。

  4. arXiv cs.HC· 12:00论文精选原文

    研究提出判断 LLM 合成用户样本库何时可信的诊断与修正框架

    该论文提出一套框架,用来判断 LLM 合成消费者样本库何时可信任、可修正或应弃用;框架用协变量重叠、条件校准与跨模型稳定性做诊断。修正需要完整的邀请名单、所有受邀者的应答指示和受访者的真人结果,并要求数据随机缺失且满足正值性假设。在 ANES 与 Twin-2K-500 的配对真人及 LLM 回答模拟中,部分可识别情形下名义 95% 置信区间仅覆盖 88–94%;当非应答依赖缺失的真人结果时,偏差仍然明显,覆盖率接近零。

    #论文/研究#合成用户#问卷/定量

    为什么值得看:论文给出诊断协变量重叠、条件校准与跨模型稳定性的判断框架,并指出修正只能依赖可获得的真人数据与识别假设。

  5. arXiv cs.HC· 12:00论文精选原文

    超越行为准确率:评估 LLM 投资者模拟中的个体层面保真度

    一项 80 人参与的纵向模拟交易研究检验 LLM 能否复现个体投资者的决策逻辑,发现没有评估中的 LLM 能在预测是否发生交易上稳定超过简单的近期活跃度基线。买卖结构与资产选择同样难以复现,且活动水平相近的模型也可能产生差异很大的组合轨迹。消融实验显示交易活动预测主要依赖近期交易记录,资产选择则对多种证据来源敏感;参与者认为模型给出的解释更贴合其长期策略而非单次决策理由。

    #论文/研究#合成用户#行为数据

    为什么值得看:80 人纵向模拟交易显示没有 LLM 能稳定超过近期活跃度基线,为合成用户的行为保真度给出了一套分维度评估方法。

  6. MeasuringU(Jeff Sauro)· 02:42论文精选原文

    MeasuringU 与 UXPA 发布 2026 UX 薪资调查:中位数 $143K,附薪资计算器

    MeasuringU 与 UXPA 的 2026 UX 薪资调查共收集 24 个国家 383 份样本,UX 从业者薪资中位数为 $143K,较 2024 年的 $120K 高 19%。同期通胀为 6.3%,通胀调整后实际增幅约 12%;样本中美国占比由 67% 升至 82%,也抬高了整体中位数。关键驱动因素的回归模型解释了 73% 的薪资差异,地区影响最大,美国中位数 $153K,英国 $100K、加拿大 $81K、德国 $68K;页面附薪资计算器。

    #论文/研究#问卷/定量#招募/样本

    为什么值得看:报告交代了样本结构与通胀调整,读者可据此判断 $143K 中位数与自己薪资的可比程度,并查看地区差异。

10月26日星期一 · 6 条
  1. Dovetail Blog· 20:00工具精选新工具原文

    Channels 2.0 正式可用,为各团队提供统一的客户上下文层

    宣布 Channels 2.0 正式可用(GA),把营收、产品与团队上下文叠加到每一条客户反馈上。官方称,这让每个团队都能基于证据做决策

    #工具发布#Dovetail#洞察库/ResearchOps

    为什么值得看:Dovetail 把营收、产品与团队上下文叠到每条客户反馈上,便于考察跨团队共享客户洞察的方式。

  2. Listen Labs· 13:07方法精选原文

    如何用 AI persona 做可用性测试:Listen Labs 完整指南

    Listen Labs 在一份指南中把 AI persona 定位为可用性测试的假设生成与分诊工具,而非证据来源。指南主张用行为特征而非人口标签构建 persona,并用显式反迎合提示词让模型报告摩擦点而不是给出好评。文中引用 NN/g 对比 120 名合成受访者与 604 名真人的结果,指出合成受访者的观点多样性明显更低;另引 Nogueira 等人的研究称多轮间接提问下迎合率中位数从 50% 升至 79%。

    #方法/实践#合成用户#可用性测试

    为什么值得看:指南给出把 AI persona 限定在假设生成环节的具体做法,包括用行为特征替代人口标签和抑制模型迎合倾向的提示方式。

  3. Listen Labs· 13:07方法精选原文

    Listen Labs 分步讲解如何用 AI 模拟顾客反应

    Listen Labs 增长负责人 Anish Rao 撰文给出用 AI 模拟顾客反应的分步流程,包括定义决策与假设、选择分群、构建模拟基础、记录推理过程、用真人验证以及报告标注数据来源。文中引用 Park 等人(arXiv:2411.10109)对 1,052 名美国人的研究,基于两小时访谈构建的智能体达到受访者自身两周重测一致性的 83%,仅按人口统计特征构建的智能体为 74%。ShopCART 基准基于 31,865 次真实购物会话发现,纯提示词的 LLM 智能体在真实购物动作上的精确匹配率仅 11.86%,过度购买比例为 25.2%,而真人为 3.3%。

    #方法/实践#合成用户#市场研究#研究伦理

    为什么值得看:文中把六步模拟流程与多项真人对照数据并置,便于研究者判断合成受访者适合承担哪类测试。

  4. arXiv cs.HC· 12:00论文精选原文

    Atlas of Human-AI Interaction 用 LLM 从 31,741 篇论文抽取 308,802 条论断构建交互知识图谱

    论文提出一套组织实证发现的框架,结合 LLM 驱动的论断抽取、实体消解、分类体系生成与知识图谱构建,并保留与研究情境和来源的链接。作者以 Atlas of Human-AI Interaction 实例化该框架,组织来自 31,741 篇论文的 308,802 条论断,并提供交互界面用于浏览构念与已报告关系、核查证据。论文还给出描述性语料分析与一项探索性用户研究,考察这一表示如何支持研究者的意义建构,并指出改进空间。

    #论文/研究#学术 HCI#文本分析/VOC

    为什么值得看:框架把论文论断抽成可比较的知识图谱,并附探索性用户研究,可供做文献综述与洞察库的研究者参考。

  5. arXiv cs.HC· 12:00论文精选原文

    研究指出交互式 LLM 评估不能只验证评分器整体准确率

    论文指出,在交互式 LLM 评估中只用整体准确率或 F1 验证自动评分器,会掩盖提示词层面的错误并扭曲提示词之间的比较结果。作者用 6 个模型、180 个虚构实体问题和 6 种提示词条件做检验,288 条平衡审计的整体 F1 为 .916,但评分器将 2.6%-33.3% 被主要评分者判为不含无依据事实主张的回答标为有问题,且各提示词下的估计并不确定。第二次审计中,评分器与两个独立 LLM 评分者评估同一批 300 个模型-问题案例,原本 9.3 个百分点的提升在两位评分者下都降到 2.3 个百分点且主要评分者区间包含零;作者建议审计计划报告的那个差值本身,并把评分者不确定性纳入最终结果。

    #论文/研究#学术 HCI

    为什么值得看:作者用 288 条与 300 个案例的两次审计说明,整体 F1 无法反映提示词层面的评分偏差。

  6. Sprig Blog· 00:00工具精选新工具原文

    Sprig 扩展 MCP 能力,从创建研究延伸到完整工作流

    Sprig 宣布扩展其 MCP 能力,覆盖范围从创建单项研究延伸到完整工作流。原文把此前只能做研究创建的阶段与现在可串联多步骤流程的能力做了区分。

    #功能更新#Agent#洞察库/ResearchOps

    为什么值得看:原文交代了 Sprig MCP 从单次研究创建扩展到完整工作流的范围变化,研究者可据此判断哪些环节能交给智能体串联。

10月25日星期日 · 2 条
  1. UX Collective· 20:31观点精选原文

    AI 进入专业用户工作前,边界该划在哪里

    作者提出六个考量,用来判断对话式 AI 界面是在加速专家用户,还是在他们与熟悉的工作之间插进一个键盘。文中引用 METR 的随机试验,经验丰富的开源开发者在自己的代码库上使用 AI 工具反而慢 19%,却以为获得了提速;Dell'Acqua、Mollick、Lakhani 等对 758 名顾问的研究中,AI 能力范围内的任务快 25.1% 且质量更高,超出范围时正确率低 19%。作者还以拥有 400 个已保存搜索的招聘人员或律师为例,指出自然语言输入把专家早已内化的字段名和状态码又变回表述问题。

    #观点/讨论#可用性测试

    为什么值得看:作者用六条判断标准区分聊天界面何时帮到专家用户、何时拖慢他们,可作为评估对话式改版取舍的参照。

  2. Listen Labs· 13:04方法精选原文

    Listen Labs 如何用 AI 复用研究洞察:五步指南

    Listen Labs 在分步指南中介绍如何用 AI 复用研究洞察,核心是把访谈转写和洞察整理成带来源、受访者与时间戳的可追溯记录。文章列出五步流程和一段提取提示词,要求逐字引用受访者,缺证据时写 not found,并建议用可查询知识库跨项目提问。文中还比较 Listen Labs Research Library 与 NotebookLM、Notion、Confluence、Dovetail 等工具在来源追溯和跨研究查询上的差异,并称 Listen Labs 已在 45+ 个国家、120+ 种语言完成 1M+ 场访谈。

    #方法/实践#洞察库/ResearchOps#定性分析#转写/编码

    为什么值得看:文章给出把访谈转写整理为可追溯洞察记录并跨研究查询的五步流程,并附可复用提取提示词与工具比较。

10月24日星期六 · 1 条
  1. Nielsen Norman Group· 01:00论文精选原文

    调查 521 名 UX 从业者:AI 让工作更快,但从业者态度复杂

    调查 521 名 UX 从业者后发现,AI 几乎在每项任务上节省时间,但多数人对其态度平淡,强制推行、输出不可靠和期望过高消耗了这些收益。调查显示超过 99% 的受访者在工作中可使用生成式 AI 工具,其中 59% 只能使用获批的工具集,仅 12% 能自由选择任意工具。AI 带来的收益因角色、任务和工作场所不同而差异明显,智能体的使用情况也不均衡

    #论文/研究#问卷/定量#Agent#NN/g

    为什么值得看:基于 521 名 UX 从业者的调查给出 AI 提效与态度分化的事实,可按角色与任务拆解收益差异。

10月23日星期五 · 4 条
  1. Ipsos· 13:50行业精选原文

    Ipsos 第三季度营收 6.362 亿欧元,有机增长 2.0%

    Ipsos 公布第三季度营收 6.362 亿欧元,有机增长 2.0%,高于上半年的 0.8%。这一增长主要来自 EMEA、中国以及面向公众(citizens)业务的表现。

    #行业动态#市场研究#Ipsos

    为什么值得看:对比上半年 0.8% 的有机增长,这份财报给出第三季度回升到 2.0% 的区域来源,可用来观察市场研究行业的需求走向。

  2. Listen Labs· 13:08方法精选原文

    初创公司如何做客户研究:Listen Labs 的 14 天操作手册

    Listen Labs 增长负责人 Anish Rao 发布一份 14 天初创客户研究手册,把流程拆成假设、免费二手数据、一手访谈、自下而上测算市场与付费意愿验证五步,并列出每步的交付物和时限。手册要求先写 3–5 条可证伪假设,到 data.census.gov、sba.gov、Google Trends 与公开竞品 10-K 中各提取一个具体数字,形成需求信号备忘录。文中引用 Hennink 等人关于定性饱和的研究,称编码饱和约需 9 场访谈、意义饱和需 16–24 场,并附 7 个问题的访谈问题库和追问示例。

    #方法/实践#AI 访谈#招募/样本

    为什么值得看:文中把两周验证拆成带交付物与时限的五个步骤,并附可直接套用的访谈问题库和饱和样本量参考。

  3. arXiv cs.HC· 12:00论文精选原文

    arXiv 论文对比人机与人际科研团队,发现 AI 协作在人类评审的想法质量上无显著优势

    arXiv 论文(arXiv:2610.30568)用同一实验设置对比人机与人际科研团队,发现 AI 协作在人类评审的想法质量上没有显著优势。反复迭代修订可稳定提升想法质量;AI 评审的分数接近人类,但在想法排序上与人类不一致,其中一个 AI 评审更偏好 AI 辅助方案,而人类评审并无对应的偏好。研究还发现协作来源只能被部分识别,人机与人人产出的科学成果存在大量重叠,并且亲身参与 AI 协作的人认为其更有用,但效率提升小于预期。

    #论文/研究#学术 HCI

    为什么值得看:论文在同一实验设置下让人机与人际科研团队、人类与 LLM 评审同场比较,呈现 AI 协作对想法质量与评价的影响差异。

  4. MeasuringU(Jeff Sauro)· 02:42论文精选原文

    MeasuringU 与 UXPA 公布 2024 年 UX 薪资调查结果并更新薪资计算器

    MeasuringU 与 UXPA 汇总 2024 年 4 月至 10 月收集的 444 份、来自 37 个国家的问卷,UX 从业者薪资中位数为 12 万美元,名义上比 2022 年的 10.9 万美元高 10%。按同期 12% 的通胀折算为不变美元后,2024 年实际中位薪资比 2022 年低 2%。薪资驱动因素的回归模型解释 72% 的差异,其中所在国家或美国地区占 50%,职位层级占 11%,美国中位薪资为 14.2 万美元;薪资计算器此次合并了 User Interviews 2024 年的数据,样本量扩大到 1,063 份。

    #论文/研究#问卷/定量#招募/样本

    为什么值得看:文中给出 444 份样本的 UX 薪资中位数与回归驱动因素,并对照 2022 年数据说明通胀调整后实际收入下降 2%。

10月22日星期四 · 3 条
  1. MAXQDA· 16:32方法精选原文

    MAXQDA 介绍 AI Assist 接入本地 AI 模型的设置与模型选型

    MAXQDA 说明 AI Assist 可接入运行在本地电脑或机构内网服务器上的语言模型,数据不离开本地网络,并在文中给出设置步骤与本地模型选型建议。该能力属于 AI Assist Premium,发往本地模型的请求不计入每日额度;原文提示本地模型结果通常不如云端准确,响应也更慢。选型部分按 AI Chat、AI Summaries、AI Coding 分级说明模型要求,建议显存预留约 20%、量化选 Q4 及以上、默认响应超时为 3 分钟,并可通过兼容 OpenAI API 的模型服务器接入。

    #方法/实践#定性分析#转写/编码

    为什么值得看:文中按 AI Chat、AI Summaries 与 AI Coding 分别列出本地模型的算力要求,并给出显存预留与量化档位的取舍依据。

  2. Listen Labs· 13:00方法精选原文

    Listen Labs 的 6 步用户原型测试操作指南

    Listen Labs 发布一份 6 步用户原型测试指南,依次覆盖设定假设与决策、匹配原型保真度、选择主持或非主持形式、招募代表样本、撰写任务提示词和行为分析。文中指出 5 用户规则只适用于同质人群的早期定性发现,多细分产品需每组各 3–4 人,量化指标则需 NN/g 建议的 20+ 用户。作者还称 AI 主持访谈可在 50–100+ 场次上同时观察屏幕行为并实时追问矛盾。

    #方法/实践#可用性测试#招募/样本#AI 访谈

    为什么值得看:文中把原型保真度与要验证的决策一一对应,并说明 5 用户规则在哪些条件下失效,可供团队设计测试方案时参照。

  3. arXiv· 00:00论文精选原文

    PRISM 数据集研究对比用户对 AI 回答的陈述偏好与实际评分

    基于 PRISM 数据集的研究(1,396 名参与者、21 个 LLM、29,347 条回答)对比了用户对 AI 回答属性的陈述偏好与实际评分行为,发现陈述优先项无法直接预测实际奖励权重。未问及的特征(长度、格式、拒答语言)对评分的影响不亚于已调查属性,历史对话中要求短或长回答的反馈更具预测力。用户之间对具体特征权重存在稳定差异,但中位数仅 6 次对话导致估计精度不足。

    #论文/研究#问卷/定量

    为什么值得看:研究用近 3 万条回答的评分数据说明,用户说出的偏好与真正打分的权重并不一致,对设计偏好问卷的研究者有参考。

想看更多?全部动态 · 按主题浏览 · 订阅 RSS