上海人工智能实验室宣布开源化学大模型“浦科化学”:基于“书生·浦语”2.0,化学领域的推理能力超越ChatGPT
上海AI实验室最新开源成果——最新的科学大模型“浦科化学”(ChemLLM),发布即开源!
它基于书生·浦语2.0强大的基座模型能力,通过注入海量的化学专业数据,使大模型获得理解和处理化学相关专业任务的知识与能力。值得一提的是,在获得化学能力同时,大模型的数理学科及推理能力还得到增强。
目前该模型已经发布到公开社区,支持免费商用。
浦科化学具备专业的化学知识能力,可以精准翻译研究论文中的各种专业名词:
还能回答高中化学试题,并给出解释。
在多项测试中,浦科化学的表现都大幅超过其他模型。
研究人员通过3个任务来测试模型专业能力:
这些任务分别涉及化学物质的表示、性质和转化,是化学研究的基础和核心。
分子名称转换要求模型能够在不同分子表示方式之间进行准确转换,如SMILES、IUPAC名称、分子式等。
分子性质预测方面,要求模型能根据分子的结构和组成,预测其化学性质,如沸点、密度、溶解度等。
反应产物预测方面,要求模型能根据给定的反应物和反应条件预测反应产物的结构。
结果显示,浦科化学在这三项任务上均表现出色,分别获得22.0、49.0和7.0的分数,远超过其他同规模模型的水平,并超越了GPT-3.5.证明浦科化学在理解和处理化学知识方面具备强大能力。
在化学能力提升的同时,浦科化学在数学、物理及推理方面的能力也都得到提升。
研究人员使用MMLU(大规模多任务语言理解数据集)作为测试集来评估浦科化学在通用场景下的性能,对语言模型的多项任务能力进行测试评估,并将浦科化学与其他同等规模的模型进行比较,以评估化学训练数据对基础模型的影响。
评测结果显示,浦科化学在大学化学任务上得分为47.0,超越了所有其他模型。
研究人员发现,尽管没有对浦科化学进行数学和物理学科的训练,模型在大学数学、大学物理、STEM(科学、技术、工程和数学)类等相关领域上也获得了最佳成绩。同时,浦科化学在形式逻辑任务上也达到了最高水平。
上述结果表明,当对大模型进行进行化学专业训练时,其数理及推理能力也能得到增强。
有趣的是,浦科化学在道德场景、人文科学类、社会科学类等分项任务上也展现了优异的平均性能,这说明,对大模型进行专业某个学科的知识训练,不仅不会让大模型“分心”,反而有助于其道德水平及一般任务水平的提升。
据了解,上海AI for Science团队面向化学、物理、生命、地球等科学领域,通过深入研究各学科基础理论,结合最新人工智能理论,探索AI驱动重大科学问题的研究范式,加速人工智能在化学、药物研发、新材料、气象等领域的渗透与落地。
其中,AI for Chemistry方面的研究以语言模型为核心,通过大模型连接智能化实验设备,全方位提升实验效率,从而实现化学研究的自动化和智能化。相关研究范式的创新,将助推科学发现速度,实现更大的社会效益。
未来,基于浦科化学模型,人工智能可为化学研究提供智能化辅助,如化学合成路径规划、化学反应条件优化、实验结果自动化分析等,从而提升化学研究的效率和质量。
项目开源地址:
近期文章
更多