首页  >  资讯  >  文章
2024-05-07 16:16

微软启动备份项目!自研5000亿参数大模型「MAI」,力邀谷歌前DeepMind团队CEO加盟带队

不需要OpenAI,微软或许也会成为AI领域的领头羊!

据外媒Information最新爆料称,微软内部已经启动了自研的首款5000亿参数的大模型「MAI-1」,这将是纳德拉作为企业管理者的重要一步棋。

图片

在过去几年,连续对OpenAI投资130多亿美元之后,微软才获得了GPT-3.5与GPT-4先进模型的使用权,但终究不是长久之计。外界曾经有这么一种讲法,微软已经沦落为OpenAI的一个IT部门。

在过去的一年,每个人熟知的,微软在大模型方面的研究,主要集中在小体量大模型Phi的更新,比如Phi-3近期发布了开源版本。而在大模型的专攻上,除了图灵系列,微软内部还未透露半点风声。

就在今天,微软首席技术官Kevin Scott证实,代号为「MAI」的大模型确实正在开发中。

图片

显然,微软秘密筹备大模型的计划,第一个版本就是「MAI-1」,这是一款全新的AI大模型,训练目标是能够与OpenAI、谷歌、Anthropic顶尖的人工智能大模型公司的产品所竞争。

毕竟,微软CEO纳德拉曾说过,如果OpenAI明天消失了,也无关紧要。他还曾经表示,「我们有的是人才、有的是算力、有的是数据,我们什么都不缺。我们在他们之下,在他们之上,在他们周围」。

图片

看来,微软的底气就是自己。

图片

据介绍,MAI-1大模型由前谷歌DeepMind负责人Mustafa Suleyman,负责监督。值得一提的是,Suleyman在加入微软之前,还是人工智能创业公司Inflection AI的联合创始人兼CEO,这支团队的主要核心研发人员今年被微软挖干净了。

创办于2022年,一年的时间,他带领团队推出了大模型Inflection,以及日活破百万的高情商AI助手「Pi」。

不过因为无法找到正确的商业模式,Mustafa Suleyman和另外一位联合创始人以及大部分的员工,在今年3月一起加盟了微软,并成为了微软旗下AI团队的新鲜血液。

图片

也就是说,Suleyman和团队负责这个新项目「MAI-1」,会为此带来更多的前沿大模型的经验。

还是要提一句,「MAI-1」模型是微软自研发的,并非从Inflection模型继承而来。据两位微软员工称,「MAI-1」与Inflection之前发布的模型不同。不过,训练过程可能会用到其训练数据和技术。

据悉,「MAI-1」将具备5000亿规模的训练参数,将远超微软以往训练的任何的小规模开源模型的数据集参数量。这也意味着,它将需要更多的算力、数据,训练成本也是高昂的。

为了训练这款新模型,微软已经预留了一大批配备英伟达GPU的服务器,并一直在编制训练数据以优化模型。其中,包括来自GPT-4生成的文本,以及外部来源(互联网公共数据)的各种数据集。

目前,「MAI-1」新模型具体表现会达到什么水平,以及在哪些领域得到引用都还未确定,将取决于其性能表现。

顺便提一句,关于「MAI-1」的更多信息,极有可能在今年5月21日~23日举行的微软Build 2024开发者大会公开。

5
查看相关话题: #微软 #AI大模型

相关文章