URhot

ReviewMap:区分同行评审评论中的评价行为与自动化边界

ReviewMap: Mapping Evaluative Acts and Automation Boundaries in Peer-Review Comments

arXiv cs.HC · 发布于 2026-11-06 13:00 · 收录于 2026-11-06

摘要

研究团队提出 ReviewMap 框架,把同行评审评论分为评估学术标准与校准贡献价值两类评价行为。在 500 篇 ICLR 2026 论文上,多模型 LLM 共识使行为层达到模型间 κ ≥ 0.75,属性层仍需人工监督,划出自动化边界。17% 的审稿人-论文实例无校准编码,Strengths 的校准占比近 Weaknesses 的 3 倍。

论文/研究文本分析/VOC学术 HCI

来源与原文

arXiv cs.HC