URhot

TACT:用 AI 委员会做大规模定性主题分析的实用流程

TACT: A Pragmatic Approach to Qualitative Analysis with an AI Council

arXiv cs.HC · 发布于 2026-11-05 13:00 · 收录于 2026-11-05

摘要

论文提出 TACT(Traceable AI Council for Thematic analysis),用 AI 委员会在规模上完成定性主题分析,同时让团队保留对解读与判断的控制。TACT-Lite 为核心流程,TACT-Full 额外加入来自其他模型族的对抗模型,以及标出高不确定性编码的判定模型。在 256 条由其他研究者编码的 Stack Overflow 帖子数据集上,候选码本 F1 为 0.75-0.77,最终编码 F1 为 0.71-0.72;留出样本上作者人工编码与 TACT 编码的 Cohen's κ 为 0.79-0.85;每 100 条帖子的模型调用成本为 $13.77(TACT-Lite)至 $33.59(TACT-Full)。

为什么值得看:论文给出 TACT 的双档设计、256 条帖子上的 F1 与每条成本,团队可据此估量 AI 委员会式定性编码的投入产出。

论文/研究定性分析转写/编码文本分析/VOC

来源与原文

arXiv cs.HC