AI开放平台 模型训练

荀子大模型

包含《四库全书》在内的绝大多数传世古籍文献的古籍大语言模型,拥有超过 20 亿字的大型语料库

时间: 2024-03-08

标签:

为响应古籍活化利用号召,推动大语言模型与古籍处理深度融合,以古籍智能化的研究为目的,南京农业大学国家社科基金重大项目“中国古代典籍跨语言知识库构建及应用研究”课题组与中华书局古联公司推出了一系列古籍处理领域大语言模型:荀子古籍大语言模型。

荀子不仅是我国先秦时期伟大的朴素唯物主义的思想家,也是一位散文大家。他在语言学理论的阐述上又是一位开拓者、奠基人。荀子系列专为古籍智能处理而设计,这一系列模型的推出将推动古籍研究与保护工作的新发展,提高中华传统文化传承的效率与质量。

index

ner

“荀子”大模型包含《四库全书》在内的绝大多数传世古籍文献,拥有超过 20 亿字的大型语料库,是该校团队在国家社科基金重大项目“中国古代典籍跨语言知识库构建及应用研究”的支持下,联合中华书局古联公司推出的专门进行古籍处理与研究的智能工具。

南京农业大学表示,该模型拥有如下亮点:

  • 智能标引:能够对古籍中的内容进行高质量主题标引,帮助研究人员快速了解文章主题;
  • 信息抽取:能够自动从古籍中抽取关键信息,如人物、事件、地点等,大大节省了信息整理时间;
  • 诗歌生成:能够根据给定的主题或关键词,自动生成符合语法规则和韵律要求的古诗,为诗词爱好者提供创作灵感;
  • 高质量翻译:对于难以理解的古籍文献,能够进行精准的现代文翻译,帮助研究人员更好地理解原文含义;
  • 阅读理解:能够对给出的古文文本进行分析解释,实现对古籍文本的自动阅读;
  • 词法分析:可以完成古籍文本的自动分词和词性标注,有效提升研究效率;
  • 自动标点:可以快速完成古籍文本的断句和标点,提升使用者对古籍文本的阅读体验。

该模型包含基座模型 XunziALLM 和对话模型 XunziChat 两部分,用户还可根据自己的需求使用本地训练语料微调基座模型,从而使其在古籍下游处理任务上取得更优越的处理性能。

相关工具推荐