2024-07-19 14:02
国内首次2024全科高考AI测评开分：阿里通义、GPT-4o等七款大模型参与，文科进一本理科进二本
AI奇点网7月19日报道丨7月17日，上海人工智能实验室公布了针对7款主流 AI 大模型的高考全科目测试结果，据大模型开源开放评测体系“司南”相关负责人介绍，“当前大模型仍存在很大的局限性。组织 AI 大模型参加高考，目的是评测当前大模型的真实水平，找准问题，持续推进技术进步。”
测试结果显示，书生·浦语 2.0 系列文曲星大模型（浦语文曲星）、阿里通义千问大模型 Qwen2-72B 以及 GPT-4o 再次包揽文、理科前三甲；前三名 AI考生的文、理科成绩分别超过了河南省高考今年的一本线与二本线。
此次参与“AI全科高考”的大模型，除了书生·浦语 2.0、阿里通义Qwen2-72B 以及 GPT-4o 之外，还包括来自零一万物的 Yi-1.5-34B、来自通义千问的 Qwen2-57B、来自智谱的 GLM-4-9B 和法国 AI 初创公司 Mistral 旗下的 Mixtral 8×22B。
据介绍，此次评测具备如下特征：
在增加综合科目的基础上，Qwen2-72B、GPT-4o、浦语文曲星包揽文、理科前三甲。阿里通义千问大模型 Qwen2-72B 以 546 分的成绩荣获 AI 高考“文科状元”，浦语文曲星则以 468.5 分成为理科第一名，分别超过了“非开源国际插班生”GPT-4o（文科 531 分，理科 467 分）。同为国外机构发布的 Mixtral 8x22B 平均得分最少，弱于国内大模型的高考表现。
参与本次AI高考测试的阅卷老师们一致认为：
大模型与人类考生之间仍然存在明显的差距，虽然AI对于基础知识的掌握表现出色，但在逻辑推理和知识灵活应用方面，大模型仍然差强人意。具体而言，在作答主观题时，大模型往往无法完整理解题干，不明白代词指向，结果导致答非所问；解答数学题时，解题过程机械且逻辑性差，对于几何题，常出现与空间逻辑相违背的推断；对物理、化学实验理解肤浅，无法准确识别并运用实验器材。
此外，大模型也会经常出现伪造虚构内容的“AI幻觉”情况，编造看似合理但实际不存在的诗句，或在存在明显计算错误的情况下之后不反思，“硬着头皮蒙”一个答案，均给阅卷老师批阅试卷带来了困扰。
本次测评的完整报告地址：https://github.com/open-compass/GAOKAO-Eval
相关文章
雷小军
Kardashian
