Google Research：构建更好的 AI 评测基准需要多少标注人员？

Google Research 研究发现，AI 评测中每个样本配备 1 至 5 名标注人员的通用做法不足以捕捉人类真实分歧。若要捕捉观点差异等细节，单样本通常需超过 10 名标注人员；若只评估多数票准确率，增加样本量则比增加标注人员更有效。团队指出依据指标优化配比仅需约 1,000 次总标注即可实现高可复现性，相关模拟器已在 GitHub 开源。