为了进一步挑战 AI 系统偷拍 自拍，公共仍是启动商议一些最远程的竞赛中的问题，相配是海外奥林匹克竞赛和算法挑战。

但现在尚无奥林匹克级别的、多学科的基准，不详全面评估笼统处分问题的武艺，以全面锻练东说念主工智能的笼统见解武艺。

上海交通大学生成式东说念主工智能现实室 ( GAIR Lab ) 的商议团队推出多学科见解推理基准 OlympicArena，即使是 GPT-4o 也只达到了 34.01% 的举座准确率，而其他开源模子的举座准确率也难以达到 20%。

这一澄莹的对比突显了他们基准测试的巨浩劫度和严谨性，说明了它在封闭面前 AI 武艺界限方面的有用性。

OlympicArena 不仅是一套题库，还作念了一些转变，比如为幸免模子"刷题"，团队引入数据透露检测本领，汲取 N-gram 瞻望检测数据裸露，阐述 99.6% 的题目未被预老师数据浑浊。

除此除外还提供了一套全面的资源来撑抓东说念主工智能商议，包括基准数据集、开源驻守平台、详备的评估器具和具有自动提交功能的名次榜。

OlympicArena 难度水平

OlympicArena 障翳数学、物理、化学、生物、地舆、天文体、诡计机科学 7 大规模，细分 34 个分支（如数论、量子物理、有机化学）。题目起首包括海外数学奥赛（IMO）、海外物理奥赛（IPhO）等 62 项顶尖赛事，共11163 说念双语题目（中英对照），骨子的难度若何。

AGI-Eval 大模子评测团队基于此，作念了 OlympicArena 题场合难度考据，按照 14 个标杆模子（去除 Qwen2-72B-Chat）的轨则对数据子集和数据集维度作念难度漫衍，从图中不错看到，OlympicArena 举座难度偏难，仅低于 AGI-Eval 团队迥殊的两个高中数学竞赛题目。

AGI-Eval 评测模子榜单

"奥赛题是锻练 AI 科学念念维的绝佳试金石。"这类高难度题目不仅需要学问储备，更磨真金不怕火逻辑推导、空间瞎想、标识清醒等笼统武艺。在这场超等测试中，那擅长代码、学科竞赛的推理系模子施展若何？

AGI-Eval 大模子评测社区也作念了新的模子评测，接入最新的推理系模子以及诳言语标杆模子。

从举座施展上看 o1 和 DeepSeek-R1 的水平基本抓平，可是在化学、生物学、天文体、物理上 o1 施展好于 DeepSeek-R1，相配是天文体上 o1 得分达 92.47%，但数学、地舆方面 DeepSeek-R1 优于 o1。

推理系模子和新迭代的模子版块恶果都有较着擢升，详备排名及得分可上官网查抄。

学术难度分析

从武艺测试上不错看到模子在不同学科的施展水平不同，在天文体上 o1 得分高达 92.47%。是天文体很简单吗？基于此，团队也作念了联系的学科分析，从底下的箱合图中不错看到（中位数越小越难）：

化学、生物、地舆和天文为一档，该档模子中位数大于 0.6，从箱型大小不错获取构建优先级为：天文 > 化学 > 生物 > 地舆

物理为单唯一档，该档模子中位数 0.5 隔壁，箱型大小较大

数学为单唯一档，该档模子中位数 0.3 隔壁，箱型大小极大

客不雅来说，在数学物理上 R1、o1、o3-mini 施展武艺更好，武艺水平也会更厚实。

题型分析

除对模子进行武艺评测外，AGI-Eval 大模子评测团队也作念了联系的题型分析，索求出以下雷达图，从图中不错看到 1-5 排名的推理模子对其它模子产生了碾压的态势，相配是在非采取题题型上，建议构建题目以单问的生成题为主。

△通用模子 6-10 难度分析

同期也对模子在面临不同难度题目作念了分析，不错看到头部模子在 Easy 难度基本已接近 100% 的准确率，且无分袂度；Medium/Hard 难度是推理系模子拉开的主战场，且 Meidum 难度已达到 90% 的准确率，后续模子评测建议只构建 Hard 难度的题目。

瞻望分析，用 Medium、Hard 拟合 Easy，Easy、Hard 拟合 Medium，以及 Easy、Medium 拟合 Hard，不错获取如下图（在 Ideal Fit 线上方的为超出预期，线下的为低于预期）。

O3-mini、O1、DeepSeek-R1 在 Hard 上已突出模子列表中的闲居施展，但在 Medium 上略低于预期

平衡点：即 Easy、Medium、Hard 上分数为若干时三公式有解，说明模子施展平衡，Easy = 1， Medium = 0.6695， Hard = 0.1897

结语

OlympicArena 的出身，是对现存模子的试金石，更是对 AI 研发旅途的深切启示：仅靠数据堆砌无法已毕竟然的智能。夙昔的 AI 应该学会像奥赛选手雷同拆解问题、关联学问、严谨推导。

当模子武艺达到这么的水平时，对模子的评测的题目难度及评测条目也越来越高，后续模子评测建议只构建 Hard 难度的题目。

基于此，AGI-Eval 大模子评测团队转变性地建议了东说念主机衔尾评测花样，并推出 10q 的全新玩法。待测模子需要在合并套 system prompt 下率领真实用户学习一个学问点并完成 quiz，基于模子与用户的高质料多轮对话数据，产出愈加高置信度的评测论断。

在这种花样下，参与者不错与最新的大模子共同完成任务，既有助于提高任务完成度又便于斥地愈加直不雅的分袂度。

夙昔跟着模子武艺的握住攀升，AI 还有更多武艺值得发掘和探索，对模子武艺的检会也仍有更对转变空间。

论文地址：  https://arxiv.org/pdf/2406.12753

技俩地址：  https://gair-nlp.github.io/OlympicArena/

代码地址：  https://github.com/GAIR-NLP/OlympicArena

一键三连「点赞」「转发」「防御心」

接待在评述区留住你的宗旨！

—  完  —

速抢席位！中国 AIGC 产业峰会不雅众报名通说念已开启  � � ‍♀️

首批嘉宾曝光啦  � �   百度、无问芯穹、数势科技、生数科技、像素灵通等十数位 AI 规模创变者将皆聚峰会，让更多东说念主用上 AI、用好 AI，与 AI 一同加快成长～

4 月 16 日，就在北京，一皆来深度求索 AI 何如用  � �  

� � 一键星标 � �

科技前沿进展逐日见偷拍 自拍