AI 基准测试已失效：为何我们需要“以人为本”的新评估范式？

引言：98% 准确率背后的残酷真相

想象一下，一家组织引入了一个号称拥有 98% 准确率、处理速度惊人的 AI 模型。基于这些亮眼的基准测试（Benchmark）成绩，公司投入了巨额资金和技术资源进行整合。然而，一旦投入使用，现实却令人大失所望：预想中的效率提升并未出现，反而增加了员工的负担，最终该系统被束之高阁。这就是所谓的“AI 坟场”。

为什么在实验室里表现近乎完美的 AI，在现实世界中却频频折戟？伦敦大学学院（UCL）教授 Angela Aristidou 指出：当前的 AI 基准测试已经“坏掉了”。我们需要一种全新的评估方式——HAIC（人机协作、特定情境评估）。

现状：被困在真空中的“AI vs 人类”博弈

几十年来，AI 的评估标准始终围绕着“机器是否比人类更强”。从国际象棋到复杂数学，从编程到创意写作，AI 被置于一种与个体人类对标的单一任务测试中。这种模式虽然易于标准化和排名，却存在致命缺陷：AI 几乎从未以这种“单打独斗”的方式被使用。

在真实世界里，AI 是被嵌入到杂乱、复杂的组织工作流中的。现有的测试方法即便演变成了动态评估，却依然无法捕捉到 AI 在人类团队中所产生的长期影响。这种“错位”导致我们误解了 AI 的真实能力，忽视了系统性风险，并误判了其经济和社会影响。

案例分析：放射科里的“效率杀手”

Aristidou 教授研究了全球多个领域的 AI 部署情况，其中医疗影像 AI 的例子极具代表性。许多获得监管机构批准的 AI 模型在读取医学影像时，速度和准确性都超过了资深放射科医生。但在实际应用中，情况却完全不同。

在加利福尼亚和伦敦的医院里，医护人员发现，为了让 AI 的输出符合医院特定的报告标准和国家监管要求，他们需要花费额外的沟通时间。医院依赖的是由放射科医生、肿瘤学家、护士组成的多学科团队，治疗方案是基于持续动态的信息交流而产生的，而非单一的、静态的判定。

当高分 AI 遇到这种需要协作、权衡和专业讨论的环境时，它非但没有提高生产力，反而引入了延误。这证明了：在真空中测试的 AI 模型，根本无法捕捉医疗决策是如何真正达成的。

破局之道：HAIC 评估框架的四大转变

为了弥合基准测试与现实表现之间的鸿沟，我们必须关注 AI 在人类团队中是否能成为一个“高效的参与者”。Aristidou 教授提出了 HAIC（Human–AI, Context-Specific Evaluation） 框架，建议从以下四个维度进行重构：

1. 从个体表现转向团队流（Unit of Analysis）

不再仅仅询问“AI 的诊断准确率是多少？”，而要问“AI 的存在如何影响多学科团队的协作与审议？”。例如，AI 是否让团队更容易忽略某些因素？它是否加强或削弱了团队内部的协调？

2. 从一锤子买卖转向长期追踪（Time Horizon）

当前的测试像是一场闭卷考试。但真正的职业能力（如初级医生或律师的培养）是通过长期、受监督的工作流来评估的。AI 也应如此，其性能应在数月甚至更长时间的交互中被纵向衡量。

3. 从单纯的“正确率”转向“错误可检测性”（Outcome Measures）

如果 AI 犯错，人类团队能否轻易识别并纠正？研究发现，在人道主义援助领域，长期的“错误可检测性记录”能帮助组织设计更有效的护城河，从而在不可避免的 AI 错误面前维持系统信任。

4. 从孤立输出转向系统性连锁反应（System Effects）

AI 可能在一个环节上加速，却在下游产生巨大的低效。例如，它可能会诱导团队过早地锚定在某个看似合理但并不完整的答案上，增加全员的认知负担。这些隐藏的成本在传统基准测试中是完全不可见的。

结论：衡量真正重要的东西

继续在脱离现实的实验室环境下测试 AI，只会让我们在理解 AI 真实能力的道路上南辕北辙。为了负责任地部署 AI，企业和政府必须停止仅仅关注“模型能独立做什么”，而开始衡量“当人类团队与 AI 共同工作时，AI 促进了什么，又破坏了什么”。

只有当我们开始衡量真正重要的东西，AI 才能从“跑分冠军”蜕变为真正的“生产力工具”。