启发式评分器与语言模型在移动 UI 质量评分上的差异刻画
一项研究用 RICO 的 15,000 屏语料,比较启发式评分器与三个开放权重语言模型在两种输入表示下的 270,000 条移动 UI 质量评分,发现原始一致性普遍很弱。18 个模型—表示—维度组合中有 17 个线性加权 Cohen's kappa 低于 0.15,但 15 个可统计区分于零,偏移校正后 5 个超过 0.15,差异更像系统偏差叠加弱共变。
一项研究用 RICO 的 15,000 屏语料,比较启发式评分器与三个开放权重语言模型在两种输入表示下的 270,000 条移动 UI 质量评分,发现原始一致性普遍很弱。18 个模型—表示—维度组合中有 17 个线性加权 Cohen's kappa 低于 0.15,但 15 个可统计区分于零,偏移校正后 5 个超过 0.15,差异更像系统偏差叠加弱共变。
Prodege 与 First & First Consulting 的联合研究发现,TikTok Shop 已为保健品行业带来超 $1 billion 收入,Z 世代保健品消费高度依赖该平台与创作者。研究调查 3,000 名 21-80 岁美国成年人,并分析 78,000 条公开帖子和 KaloData 的 TikTok Shop 销售数据;65% 的 Z 世代保健品使用者使用 TikTok,42% 从网红处而非医生获取健康建议(非使用者为 28%)。但医生仍是他们最信任的权威,仅 32% 会先找医生、29% 使用 AI 聊天机器人。
研究揭示驱动主流用户复用生成式 AI 聊天机器人系统的因素,并把这一过程概括为从“复杂神话”到“易如反掌”。它关注普通用户再次使用这类系统的意图。原文未提供具体模型、样本量、效应量或可用性信息。
研究团队用自我报告和游戏化行为测量,在开箱即用条件及三种基于提示词的人格设定下评估四款 LLM 的人格,发现重测信度很高。与以往研究相反,LLM 的人格分数随提示词人格可预测地变化,但自我报告与行为测量的一致性因模型和人格条件而异。
Cint 与 Advertising Week 在 Advertising Week New York 2026 的会议上分享 1,000 名美国受访者调研,聚焦 AI 广告中的消费者信任。80% 在个人生活中使用 AI,但 80% 担忧 AI 制作广告;93% 称品牌信任影响购买决策。75% 认为品牌应披露 AI 使用,43% 称未披露 AI 或合成媒体是品牌彻底失去信任的最大原因。
AURA 提出一个强化学习框架,用于 AI 驱动的自适应对话式问卷,受控评估中回答质量平均提升 +0.076。它用 LSDE 指标评估回答,并基于 96 段既往校园氛围对话(467 次交流)初始化策略。AURA 还显著优于非自适应基线(p=0.044,d=0.66),并将 specification prompts 减少 63%。
一项针对 11 位数学专家使用进化编码智能体 AlphaEvolve 的研究,在三个月、逾 2,300 次实验中识别出“意图构建”过程。数学家会在引导搜索空间(意图构建)与提取数学洞察(意义建构)之间交替。研究据此主张把 AI 科学发现工具设计为协作工具,而非问答模型或黑箱神谕。
ShopMind 构建了以信念、不确定性和意图为核心的电商用户心理世界模型,并用合成行为—心理状态数据训练 MSR 推断潜在状态。相比最强基线,其个性化与行为真实性分别提升 18.0% 和 19.6%。研究使用 LLM 仿真电商用户行为,无真人研究。
一项研究以「信息预算」和「平均患者」假设检验17个模型模拟精神科患者的逼真度,对照8组真人样本发现模型变异低1.5—11倍。模型常将多数症状评为中等,也较少回答「无症状」,提示词、人格、模型规模与推理只能减弱这一模式。由此,AI治疗师对无症状的识别能力缺乏有效检验。
为什么值得看:用17个模型对照8组真人样本,量化了模拟患者回答变异偏小、少报无症状的偏差,可作为合成用户校验的参照。
一项研究检验LLM人格模拟能否复现人类认知差异,并以473名成年人作为对照。团队用认知反思、认知需求与大五人格设定代理,让模型完成同一套测验;模型能再现自陈人格分布,却难以反映推理任务和行为差异。Claude Sonnet 4.6无论人格设定均获CRT满分,显著偏离人类。
为什么值得看:研究用473名成人对照LLM人格模拟,指出模型能复现自陈人格却难还原推理与行为差异,可供评估合成用户时参考。
STaRS 让 LLM 先解释单项行为信号,再综合推断 AI Overviews 用户满意度,并用强化学习与奖励塑形优化稀疏奖励下的推理。该方法面向搜索场景中现有满意度评估未充分利用用户行为的问题。在两个真实数据集上,其预测表现优于对比方法。
TurnFlow 结合自适应用户模拟与可验证评判,以 490 个场景检验 9 种 LLM 的多轮用户状态推理,总体通过率为 42.86%—59.59%。模型虽擅长多约束遵循,却在范围蔓延与目标转移上明显失效。
研究团队提出 ReviewMap 框架,把同行评审评论分为评估学术标准与校准贡献价值两类评价行为。在 500 篇 ICLR 2026 论文上,多模型 LLM 共识使行为层达到模型间 κ ≥ 0.75,属性层仍需人工监督,划出自动化边界。17% 的审稿人-论文实例无校准编码,Strengths 的校准占比近 Weaknesses 的 3 倍。
Prodege 与 First & First Consulting 调查 3,000 名美国成年人发现,Z 世代日均使用社交媒体不足 1 小时的净心理健康得分为 43%,低于 1–2 小时的 62%,7 小时以上为 55%,重度使用未线性恶化。5 小时以上 Z 世代中 66% 每周多次线下社交,26% 认为健康与放纵的矛盾更像审美而非妥协。
研究在真实广告活动中比较冷启动电商广告缺少历史数据时的 LLM 用户画像模拟配置,发现最小人口描述、相对定性盲测信号及提示措辞效果最佳。其 MAE 较最佳非 LLM 基线降低 51.3%。
基于272名大学生心理量表数据和14个Llama 3、Qwen 2.5变体,研究显示大模型能复现并放大跨量表相关。较大指令模型的内部几何结构与人类结构更一致。但探针斜率低于行为斜率,提示存在读出衰减及探测偏差。
论文提出 TACT(Traceable AI Council for Thematic analysis),用 AI 委员会在规模上完成定性主题分析,同时让团队保留对解读与判断的控制。TACT-Lite 为核心流程,TACT-Full 额外加入来自其他模型族的对抗模型,以及标出高不确定性编码的判定模型。在 256 条由其他研究者编码的 Stack Overflow 帖子数据集上,候选码本 F1 为 0.75-0.77,最终编码 F1 为 0.71-0.72;留出样本上作者人工编码与 TACT 编码的 Cohen's κ 为 0.79-0.85;每 100 条帖子的模型调用成本为 $13.77(TACT-Lite)至 $33.59(TACT-Full)。
为什么值得看:论文给出 TACT 的双档设计、256 条帖子上的 F1 与每条成本,团队可据此估量 AI 委员会式定性编码的投入产出。
一篇 arXiv 论文用 ICC 对比同一批 100 条提示词在文本与音频下的偏好标注,发现两种模态的评分者一致性差异明显,音频 ICC(2,k) 约 0.81、文本约 0.74,达到该水平约需 9 名评分者。音频评分者决策阈值更窄、长度偏差更小、更偏向以用户为中心的评估标准,而跨模态一致性接近随机水平。作者据此认为音频偏好数据的评测协议需要按模态单独设计,而非直接沿用文本方案,并指出合成评分可用于预测评分者一致性、作为刺激材料筛选的早期信号;代码、数据和音频语料已在 Hugging Face 公开。
为什么值得看:同一批 100 条提示词在文本与音频下的偏好判断差异明显,为评测协议是否需按模态分别设计提供了比较依据。
BobFlow 将数据流抽象与 ReAct 范式结合,让 AI 智能体迭代构建并执行数据流,分析师可检查分析并反馈。用户研究表明,它帮助分析师理解、检查和验证智能体生成的分析。在专有与开放权重 LLM 上的实验显示,它以基于脚本的 ReAct 智能体 1/3 略多的推理成本,换来最高 18.6 分的准确率提升。
MovieLens Beliefs 数据集研究显示,人们对自身电影评分的预测比平台预测和协同过滤模型更准,相关系数 0.69,对比 0.34 和 0.54–0.59。26,020 条预期评分中仅 551 条(来自 277 名成员)在至少一天后得到实际评分,把预期并入机器预测后样本外均方误差降低 26%。在成员自己影片的排序上,训练模型与本人表现无统计差异。
一项 arXiv 研究用 18 张首尔街景图,让 Qwen3.8-27B 和 Gemma4-26B 各以 500 个合成 Persona 为条件,与 25 名人类受访者完成同一组两两安全感知选择。两个模型都更偏好无机器人的街道,也更倾向配送机器人而非人形机器人,并与人类一样在夜间更常选择有机器人的画面。但模型选人形机器人的比例远低于人类,Gemma 对人形机器人的夜间效应约为人类的三倍。
MeasuringU 的 20 人随机对照实验显示,基于 Gemini 3 Flash 搭建的 AI 主持访谈在主题覆盖上整体不及人类主持。AI 主持的场次短 37%,参与者每分钟说出的词数少 45%(54 vs. 98);在 8 个主题中,人类主持在 7 个主题上的出现比例更高,仅 sleep climate 在三位编码者中均达到统计显著(p < .01)。
为什么值得看:20 人随机对照实验对比 AI 与人类主持访谈,并给出主题覆盖和编码者一致性数据,可供评估 AI 主持的适用边界。
BobFlow 用数据流作为共享抽象,结合 ReAct 让智能体迭代构建、执行分析并接受人类检查与反馈。用户研究显示,它提升了分析师对分析的理解、检查与验证能力。多模型实验中准确率最多提高 18.6 分,推理成本略高于脚本式 ReAct 智能体的三分之一。
一项32人研究用IPIP-NEO-120评估LLM人格特质提示的可控性与说服效果,并让参与者与不同人格配置的LLM智能体讨论道德困境。人格可被一定程度诱导,但人格一致性未显著改变说服、立场或信心。更高的AI说服素养与较少信心变化相关。
一项研究用首尔街道图像比较无机器人、配送机器人和人形机器人的安全感判断:两个多模态大模型在500种合成人格条件下与25名人类完成成对选择。模型和人类都偏好无机器人街道,夜间更愿选择机器人,但模型低估了人类对人形机器人的相对偏好,说明其只能部分模拟人类感知。
一篇聚焦 LLM 合成人群的研究指出,固定人格模拟难以复现具体情境中的群体行为,并提出以人在情境中为核心的评估标准与设计方法。研究区分稳定特质、情境唤起的身份与情境本身,并在 Reddit 语料及临床试验招募调查上验证。
为什么值得看:该研究区分稳定特质与情境唤起的身份,为评估 LLM 合成人群在具体情境中的行为效度提供了框架。
一项研究在消费调查、经济博弈和劳动力市场实验中,比较了10种决策模型与8种LLM作为经济人类替身的效度。前沿决策模型更能复现人类行为差异,可捕捉消费调查中的典型反应,速度约快10倍、成本最高低逾百倍,但在博弈中对众数的模拟弱于LLM。
为什么值得看:原文用消费调查与博弈实验比较10种决策模型和8种LLM模拟人类行为的效度,给出速度与成本的量化对照。
研究团队提出 AutoAnalysis,一个自动、自我更新的人机协作元分析工具;其最新运行综合 420 篇论文的 1,955 个效应量。结果显示,人机组合平均显著优于人类单独表现,但显著劣于人类或 AI 单独表现中更好的一方。研究强调,评估协作应同时对照人类与 AI 单独表现,AutoAnalysis 将随新研究持续整合证据。
一项研究以6个语言模型模拟器在GlobalOpinionQA的60题、12国数据上的分歧作为可靠性信号,检验LLM模拟用户对人类调查估计的可靠性。结果显示,分歧更能识别群组差异,而不能识别单组比例的无效估计,但多个模拟器共有的偏差不会被发现。估计并扣除共享偏差可降低误差,将高分歧比较转交人工复核也能改善判断。
为什么值得看:研究用6个语言模型在GlobalOpinionQA的60题、12国数据上的分歧检验调查估计,并指出多个模拟器共有的偏差不会被分歧发现。
研究提出从既往人类实验数据中提取行为特征,为语言模型生成行为档案并筛选可预测特征,再用新参与者和新设计验证其对分布外人类行为的模拟。公共品、议价和金钱请求实验显示,单一有效特征优于无档案或使用通用人格,特征过多没有额外收益,跨博弈迁移有时反而降低准确性。
为什么值得看:研究用人类实验数据为 LLM 生成行为档案,并给出特征数量与跨博弈迁移的取舍,可供设计合成用户时参考。
HiPaper 是一个人机协作文献研读系统,把文献研读拆为检索、收集与综合三阶段,并借 Knowledge Pocket 公开可检查、修订和验证的中间 AI 结果。专家形成性研究与 14 名博士生实验显示,该分阶段协作能提升文献筛选、证据追溯和跨领域知识综合能力。
AutoAnalysis 这项可自动汇总并持续更新的元分析纳入 420 篇论文和 1955 个效应量,发现人机组合显著优于人类单独工作。但人机组合通常不及人类与 AI 中表现更优的一方,作者据此指出「优于人类」并不等于实现人机协同。
为什么值得看:420 篇论文与 1955 个效应量的汇总显示,人机组合通常不及其中更优一方,可作为判断人机分工边界的参照。
模型无关的后处理校准方法 HuMCal 通过人类基准数据学习跨提示词、角色和模型检查点的组合权重,以校准 LLM 样本、缩小其偏好与真人回答的差距。在消费交易与民意调查中,其一致性优于常规聚合,权重可跨时间、地域、行业及问题簇复用。
Re3Culture 汇集四种文化 700 余名参与者的社区成员、自选情境及多类价值信号,分析文化价值对齐中应代表谁、在何处观察及如何识别价值。结果表明,仅靠抽象问卷或 LLM 模拟会产生群体偏差。价值目标需基于具代表性社区与具体情境。
一篇系统性综述聚焦人机交互研究中的参与式设计。原文未给出纳入文献数量、检索范围与主要结论等细节。
一项研究在 14 个视觉语言模型上检验低视力、色盲、听力损失等角色提示能否模拟真实人群,结果显示角色提示从未胜过实测用户和仅采用人格事实的简单规则,反而抹平了群体与个体差异。研究还发现,描述模糊不改变模型识别,实际模糊图像才降低其表现,表明模型能陈述影响机制却不能据此看见。
为什么值得看:14 个视觉语言模型的对比显示,角色提示在还原残障用户回答上不及简单规则,可作为评估合成用户方法的参照。
研究构建了由真实题目和经筛查降低先验知识的虚构孪生题组成的诊断量表,用于测量 LLM 在人物画像用户模拟中的知识泄漏。跨三种知识处理条件、五个 API 端点和两个模型家族,低知识及明确无知提示仍无法消除真实题的熟悉度偏差。不利题的泄漏方向还随领域改变,显示模型知识与角色知识难以分离。
为什么值得看:研究把真实题与经筛查的虚构孪生题配成诊断量表,可作为检查合成用户模拟是否掺入模型自身知识的可复用办法。
Annotrace 工作台把智能体轨迹转成有序嵌套步骤列表,用于步骤级人工-AI 联合标注。它支持 OpenTelemetry GenAI、LangSmith、Langfuse 等六种格式,前沿模型从轨迹样本提出初始标签集。多智能体问答语料上,它精确复现此前人工的 235 个标注单元,两个模型标注一致率为 91%(κ=0.82)。
Prodege 与 First & First Consulting 的新研究显示,Z 世代对食品营销高度怀疑,却仍会因创作者推荐和包装氛围在 TikTok Shop 下单。经 KaloData 分析的销售数据显示,TikTok Shop 为饮料行业带来每月超 $15 million 收入,零食收入的 70% 由联盟创作者而非品牌账号驱动。研究分出 Buzz Drinker、Social Sophisticate、Earnest Optimizer 三类功能饮料饮用者,并指出 Z 世代常把水、电解质和健身当作平衡其他饮食的方式。
该研究通过两项视觉图灵测试,让90名参与者观看438段AI生成视频,收集4286次有效眼动数据。注视模式与显式真实感评价高度相关。新方法GazeEval可依据眼动信号以71.3%的准确率预测视频的视觉真实感。
该论文提出一套框架,用来判断 LLM 合成消费者样本库何时可信任、可修正或应弃用;框架用协变量重叠、条件校准与跨模型稳定性做诊断。修正需要完整的邀请名单、所有受邀者的应答指示和受访者的真人结果,并要求数据随机缺失且满足正值性假设。在 ANES 与 Twin-2K-500 的配对真人及 LLM 回答模拟中,部分可识别情形下名义 95% 置信区间仅覆盖 88–94%;当非应答依赖缺失的真人结果时,偏差仍然明显,覆盖率接近零。
为什么值得看:论文给出诊断协变量重叠、条件校准与跨模型稳定性的判断框架,并指出修正只能依赖可获得的真人数据与识别假设。
一项 80 人参与的纵向模拟交易研究检验 LLM 能否复现个体投资者的决策逻辑,发现没有评估中的 LLM 能在预测是否发生交易上稳定超过简单的近期活跃度基线。买卖结构与资产选择同样难以复现,且活动水平相近的模型也可能产生差异很大的组合轨迹。消融实验显示交易活动预测主要依赖近期交易记录,资产选择则对多种证据来源敏感;参与者认为模型给出的解释更贴合其长期策略而非单次决策理由。
为什么值得看:80 人纵向模拟交易显示没有 LLM 能稳定超过近期活跃度基线,为合成用户的行为保真度给出了一套分维度评估方法。
研究者用角色扮演视觉语言模型(VLM)生成候选解读,再以 Target--Pattern--Scope 框架和 LLM 评判器标注歧义并汇总为歧义画像。方法按各图表类型筛选表现最佳的 VLM,用人工标注评估标签并应用于公开真实可视化;案例显示其能生成候选语境结论、补充人类反馈并暴露潜在歧义。
MeasuringU 与 UXPA 的 2026 UX 薪资调查共收集 24 个国家 383 份样本,UX 从业者薪资中位数为 $143K,较 2024 年的 $120K 高 19%。同期通胀为 6.3%,通胀调整后实际增幅约 12%;样本中美国占比由 67% 升至 82%,也抬高了整体中位数。关键驱动因素的回归模型解释了 73% 的薪资差异,地区影响最大,美国中位数 $153K,英国 $100K、加拿大 $81K、德国 $68K;页面附薪资计算器。
为什么值得看:报告交代了样本结构与通胀调整,读者可据此判断 $143K 中位数与自己薪资的可比程度,并查看地区差异。
论文提出一套组织实证发现的框架,结合 LLM 驱动的论断抽取、实体消解、分类体系生成与知识图谱构建,并保留与研究情境和来源的链接。作者以 Atlas of Human-AI Interaction 实例化该框架,组织来自 31,741 篇论文的 308,802 条论断,并提供交互界面用于浏览构念与已报告关系、核查证据。论文还给出描述性语料分析与一项探索性用户研究,考察这一表示如何支持研究者的意义建构,并指出改进空间。
为什么值得看:框架把论文论断抽成可比较的知识图谱,并附探索性用户研究,可供做文献综述与洞察库的研究者参考。
论文指出,在交互式 LLM 评估中只用整体准确率或 F1 验证自动评分器,会掩盖提示词层面的错误并扭曲提示词之间的比较结果。作者用 6 个模型、180 个虚构实体问题和 6 种提示词条件做检验,288 条平衡审计的整体 F1 为 .916,但评分器将 2.6%-33.3% 被主要评分者判为不含无依据事实主张的回答标为有问题,且各提示词下的估计并不确定。第二次审计中,评分器与两个独立 LLM 评分者评估同一批 300 个模型-问题案例,原本 9.3 个百分点的提升在两位评分者下都降到 2.3 个百分点且主要评分者区间包含零;作者建议审计计划报告的那个差值本身,并把评分者不确定性纳入最终结果。
为什么值得看:作者用 288 条与 300 个案例的两次审计说明,整体 F1 无法反映提示词层面的评分偏差。
调查 521 名 UX 从业者后发现,AI 几乎在每项任务上节省时间,但多数人对其态度平淡,强制推行、输出不可靠和期望过高消耗了这些收益。调查显示超过 99% 的受访者在工作中可使用生成式 AI 工具,其中 59% 只能使用获批的工具集,仅 12% 能自由选择任意工具。AI 带来的收益因角色、任务和工作场所不同而差异明显,智能体的使用情况也不均衡
为什么值得看:基于 521 名 UX 从业者的调查给出 AI 提效与态度分化的事实,可按角色与任务拆解收益差异。
arXiv 论文(arXiv:2610.30568)用同一实验设置对比人机与人际科研团队,发现 AI 协作在人类评审的想法质量上没有显著优势。反复迭代修订可稳定提升想法质量;AI 评审的分数接近人类,但在想法排序上与人类不一致,其中一个 AI 评审更偏好 AI 辅助方案,而人类评审并无对应的偏好。研究还发现协作来源只能被部分识别,人机与人人产出的科学成果存在大量重叠,并且亲身参与 AI 协作的人认为其更有用,但效率提升小于预期。
为什么值得看:论文在同一实验设置下让人机与人际科研团队、人类与 LLM 评审同场比较,呈现 AI 协作对想法质量与评价的影响差异。
研究者开发了带轨迹树的智能体工作区 Atlas,把长周期智能体运行呈现为分支结构,展示智能体的选择、搁置项和六种表示下的产物投影。在一项 N=14 的受试者内研究中,参与者报告 Atlas 的决策透明度、产物理解与目标关联高于标准基线,主观工作负荷明显更低。
基于 PRISM 数据集的研究让 1,396 名参与者报告七项属性重要性并评分 21 个 LLM 的 29,347 条回复,发现长度、格式和拒绝措辞等未调查特征与评分的关联至少不弱于所调查属性的文本代理。陈述优先级对应他人感知的模型属性,却不对应文本代理得分;个人信息预测留出选择的最大增益仅 0.13 个百分点,汇总模型为 1.11。
MeasuringU 与 UXPA 汇总 2024 年 4 月至 10 月收集的 444 份、来自 37 个国家的问卷,UX 从业者薪资中位数为 12 万美元,名义上比 2022 年的 10.9 万美元高 10%。按同期 12% 的通胀折算为不变美元后,2024 年实际中位薪资比 2022 年低 2%。薪资驱动因素的回归模型解释 72% 的差异,其中所在国家或美国地区占 50%,职位层级占 11%,美国中位薪资为 14.2 万美元;薪资计算器此次合并了 User Interviews 2024 年的数据,样本量扩大到 1,063 份。
为什么值得看:文中给出 444 份样本的 UX 薪资中位数与回归驱动因素,并对照 2022 年数据说明通胀调整后实际收入下降 2%。
ProfileSim用人口特征、大五人格、真实通话意图建模用户与业务画像,以真实语音数据微调并用分层奖励GRPO优化,面向任务型对话用户模拟。结合 SOP 约束与 RAG 客服智能体后,金融营销模拟对话更口语化、用户画像更贴合、发言更短,业务合规相当。该工作建模用户画像与业务意图,但无真人评估。
基于 PRISM 数据集的研究(1,396 名参与者、21 个 LLM、29,347 条回答)对比了用户对 AI 回答属性的陈述偏好与实际评分行为,发现陈述优先项无法直接预测实际奖励权重。未问及的特征(长度、格式、拒答语言)对评分的影响不亚于已调查属性,历史对话中要求短或长回答的反馈更具预测力。用户之间对具体特征权重存在稳定差异,但中位数仅 6 次对话导致估计精度不足。
为什么值得看:研究用近 3 万条回答的评分数据说明,用户说出的偏好与真正打分的权重并不一致,对设计偏好问卷的研究者有参考。
一项对比人机与人人团队的研究发现,AI 协作未显著提升人类评判的创意质量,迭代修改才是关键,且 AI 评委偏袒 AI 辅助方案。协作来源难以完全检测,亲身体验者认为 AI 更有用,但效率提升低于预期。研究结合人类与 LLM 评审、协作来源分析及参与者调研,挑战了 AI 价值主要在于改善创意的假设。
一项 GenAI 知识工作研究从表征工作切入,探讨面向人-智能体知识协作的可塑工作空间。该研究采用 3 个月纵向用研,样本量为 n=7。
一项研究探究性别刻板印象对金融科技服务用户体验的影响。研究聚焦金融科技服务场景下的用户体验,考察性别刻板印象与用户体验之间的关系。
研究提出基于LLM的结构化流程,对100篇Scopus摘要生成事实与反事实QA,67篇用于验证。生成用gpt-4.1,自动验证用gpt-5-mini按15项清单执行;三名标注者一致性中等,平均成对Cohen's kappa约0.54。原始QA/关系级正确性0.97/0.89,文档级全局一致性0.07,25.4%文档验证分数下降超阈值。
UDG Biblioteca Digital 的可用性评估发现,其信息架构造成结构性障碍:远程可用性测试(n = 24)中无人完成全部导航任务。术语问卷(n = 58)中 93% 无法正确识别在线目录内容;卡片分类(n = 20)显示用户按功能而非图书馆学分类法归类。据此简化标签、重组导航的方案获平台协调团队认可,尚未验证。
一项研究让三项 LLM 在两份态度量表(自动驾驶与轻型电动车)上预测被遮蔽条目,并与基于嵌入相似度的简单基线对比。结果显示 LLM 整体优于基线,但随已知答案比例下降而性能下滑,在一份量表中甚至与基线持平。研究据此指出,数据稀缺时 LLM 可能退化为嵌入相似度启发式,数据增强的效力有限。
为什么值得看:论文用两份态度量表对比 LLM 与嵌入相似度基线,指出数据稀缺时 LLM 的推断可能退化为表层相似。
International Journal of Market Research 的在线先发研究聚焦电影行业市场研究预测,运用复杂性和信号理论分析影响票房表现的因素。研究将演员、导演等明星因素归为内部信号,将评分、推荐等口碑及营销归为外部信号。
跨学科专家团队基于三项机器人隔断研究的质性再分析,提出建筑机器人接受度模型 ARAM。模型沿感知压力严重程度连续体设三个定性阈值,划分四种接受反应,并能估计居住者在个人需求、改造能力与社会正当性不同评估状态下的回应。研究还发现,当居住者认为机器人能以社会可辩护的方式满足个人需求时,更可能接受调整。
一项针对 351 名大学年龄段 TikTok 与 YouTube 用户的在线问卷调查及结构方程模型分析显示,技术接受模型(TAM)对 TikTok 实际使用的预测效度显著高于 YouTube。感知易用性和感知有用性直接预测两平台使用,平台态度是关键结构前因。t 检验还显示,TikTok 的感知易用性与实际使用得分更高,YouTube 的感知有用性与整体态度得分更高。
一项发表于 International Journal of Market Research 的研究对新产品开发(NPD)中的“负责任共创”完成了概念化并做了实证验证。研究背景是企业日益重视伦理与社会责任创新,正重新审视通过协作创造价值的方式;该文以在线先发(Ahead of Print)形式刊出。
International Journal of Market Research 的一篇预出版研究评估了移动优先问卷布局相较传统布局对作答行为与数据质量的影响。研究缘于智能手机网页问卷普及,要求布局适配以保证跨设备、跨调查模式的数据采集一致且高质量。
一项基于 380 名美国样本的研究考察 AI 服务机器人的拟人化感知如何影响消费者采用选择,并检验技术依恋的中介作用与机器人使用自我效能感的调节作用。研究发表于 International Journal of Market Research,目前为 Ahead of Print。
研究评估聊天机器人对建议提供整合模型的遵循程度,考察人机互动中支持性行为的存在与顺序结构。研究聚焦聊天机器人在建议提供中如何组织支持性行为。论文刊于 2026 年 10 月第 45 卷第 17 期,页码 4142-4160。
论文以 Schwartz 人类价值观理论为框架,设计数字人在以人为中心的负责任交互中的价值型角色与行为要素。文章刊于 Volume 45, Issue 17,页 4105-4141。
《Journal of Mixed Methods Research》的一篇提前在线文章讨论如何用 Delphi 共识技术完善混合方法研究中的元推断。混合方法研究可整合多元视角与数据来源以应对复杂棘手问题,但整合多方利益相关者的视角仍困难。
一项变革性混合方法设计本位研究论证,DBR 干预研究本质上采用混合方法收集、分析和解释数据,目标是开发学习差异学生的学科素养干预。该文发表于 Journal of Mixed Methods Research 的 Ahead of Print。
加勒比语境下的定性驱动混合方法研究需要超越西方范式,以当地多元文化、身份与实践理解“认知”和“存在”的情境性。这种多样性植根于共同殖民历史。
《社交媒体用户网络不文明行为的分类、测量与前因》一文梳理了社交媒体用户网络不文明行为的类型划分、测量方式与前因,刊于期刊 Volume 45 第 17 期(2026 年 10 月),页码 3993-4011。
一篇理论文章在 Mertens 变革范式下,将质性驱动的混合方法研究与混合方法行动研究整合到残障研究情境,以推进参与式和面向正义的混合方法研究。该整合聚焦残障研究情境,强调参与式与正义导向的探究设计。
《Journal of Mixed Methods Research》刊文指出,权力、收益与可见性对理解定性驱动的混合方法研究的过去、现在与未来至关重要。文章从权力维度展开,考察定量与定性方法过去所扮演的角色。
一项研究评估服务运营中客户采用 AI 数字智能体的影响因素及各因素的相对重要性;现有材料仅给出研究主题,未披露样本量、具体因素或结果数据。
研究考察真实驾驶条件下自动驾驶车辆用户对突发危险场景的感知风险与接受度。现有信息未给出样本量、测量指标或具体研究结果。
论文《It was(n’t) me》以 vignette 实验考察管理者在 AI 建议决策中的责任归因。原文未提供样本量、效应量或实验结论。
一项研究考察数据多样性、标注者多样性、性能偏见与用户反馈如何影响用户对 AI 的信任,并讨论算法偏见的传达与对抗。原文未提供样本量、效应量或实验设计等具体结果。