谷歌提出AI评测评审优化方法
AIPress.com.cn报道
4月1日消息，谷歌研究人员Flip Korn和Chris Welty在一篇论文中提出了一套新的机器学习模型评估框架，重点解决AI基准测试中“每项评分需要多少人”的问题。这项研究基于“金标准”评分数据，旨在优化项目数量（N）与每项评分人数（K）之间的权衡，为构建高度可重复且能体现人类意见差异的AI基准提供系统方法。
在机器学习中，可重复性是衡量实验可靠性的关键指标，指的是在相同代码、数据分布和设置下重复实验时能获得相同结果的能力。高可重复性不仅能提升团队间信任，也方便研究者在前人工作的基础上进行拓展。然而，建立可重复的AI基准面临的核心挑战在于“人工标注数据的主观性”。人类评审在面对同一问题时往往会有不同判断，而现有的AI评测方法通常忽略这种差异，单纯采用多数投票生成“单一真相”。这不仅无法反映人类意见的多样性，也会影响评测结果的可靠性。
研究团队通过模拟实验，探索了在固定预算下，如何在“项目数量（N）”与“每项评审人数（K）”之间找到最优分配。他们将其比喻为“森林与树”的策略选择：
森林策略（breadth）：让更多不同的人评审更多的项目，侧重广度。
树策略（depth）：让更多的人评审同一项目，侧重深度。
传统AI评测通常采用森林策略，每项项目仅由1至5名评审完成。然而，研究发现，这种低评审数量的做法既无法充分捕捉意见细微差异，也不能获得整体趋势的高可靠性结果。在某些任务中，为了全面理解人类意见的范围，每项项目需要超过10名评审。
为验证这一方法，研究团队使用了多类数据集进行模拟实验，包括：
Toxicity数据集：107,620条社交媒体评论，由17,280名评审标注毒性信息；
DICES数据集：350个聊天机器人对话，由123名评审从16个安全维度进行标注；
D3code数据集：4,554项跨文化内容，由4,309名评审从21个国家完成 offensiveness 标注，覆盖不同性别和年龄层；
Jobs数据集：2,000条与就业相关的推文，每条由5名评审回答3个问题，涵盖就业状态、职位变化和信息角度。
在模拟过程中，研究团队重点分析了两方面：
规模（N）：总评分项目数量，范围从100到50,000；
人群（K）：每个项目的评审人数，范围从1到500。
通过数千种组合的模拟测试，团队评估了不同N与K配置在统计可靠性和可重复性方面的表现。实验显示，合理调整每项项目的评审人数可以显著提高p值的统计显著性，从而更可靠地评估模型性能差异。
研究的核心发现包括：
传统3–5名评审不足以捕捉人类意见：低评审数既无法体现意见广度，也无法体现意见深度。每项项目通常需要超过10名评审以获得高可重复性结果。
指标决定策略选择：
若目标是匹配多数意见（Accuracy），森林策略更优，增加项目数量比增加评审人数更有效；
若目标是捕捉意见差异（Nuance），树策略更优，通过增加每项评审人数来全面理解人类意见的分布。
效率可控：通过合理的N/K分配，即便总预算约1,000次标注，也能实现高可重复性结果。但错误分配即使增加预算也可能导致不可靠结论。
研究强调，随着AI应用扩展到主观性较强的领域，如伦理判断、社交互动性质评估等，传统“单一真相”假设已不再适用。在这些场景中，理解人类分歧的重要性与识别共识同样关键。该研究提供了数学工具和模拟框架，帮助研究者设计既可靠又经济的AI基准测试，确保实验结果既能反映人类意见广度，也能体现深度。
研究成果和模拟工具已开源，旨在支持AI研究社区，推动AI评测方法论和标准向更高可重复性与更好反映人类主观差异方向发展。（AI普瑞斯编译）