首页  >  资讯  >  文章
2024-01-19 17:39

Meta CEO马克·扎克伯格正式官宣:Meta正在研发与训练新一代Llama 3大模型,并且将继续开源

当地时间1月19日,全球社交、互联网科技巨头Meta公司的CEO扎克伯格发文宣布,正在训练新一代的第三代Llama 3大模型,并且以负责任地方式继续维持开源计划。

扎克伯格表示,预计到2024年底,Meta将拥有350000块H100,如果算上其他算力资源将达到近600000块H100。所以,Meta有足够的AI算力资源来支持其生成式AI和FAIR(旗下AI部门)的技术研究。未来,会公布更多的产品消息。

去年8月,就有过传言Meta正在训练Llama 3。现在,官方正式确认该消息,这对于企业、个人开发者来说都是一个好消息,可以继续以开源的方式使用与GPT-4、谷歌Gemini Ultra相媲美的大模型。

图片

让我们简单快速地回顾一下LLaMA的发展概况。

2023年2月,当ChatGPT火爆出圈时,全球多个国家、地区皆在尝试开发类似的产品。

虽然已经有一些开源产品,但在功能、能耗等方面与其相差甚远。同月,Meta重磅开源了类ChatGPT开源模型LLaMA。随后,国内外不少科研机构、个人开发者在LLaMA基础之上,开发了众多知名开源项目。但LLaMA有一个致命缺点,无法商业化,只允许用于技术研究。

图片

LLaMA与GPT大模型同样是基于Transformers架构演变而来,共有70亿、130亿、330亿和650亿参数四种类型,接受了20种不同语言文本的训练。

数据训练方面,LLaMA使用公开可用的数据集进行训练,其中包括开放数据平台Common Crawl、英文文档数据集C4、代码平台GitHub、维基百科、论文平台ArXiv等,总体标记数据总量大约在1.4万亿个Tokens左右。

Meta认为,在更多标记单词上训练的较小规模参数的模型,更容易针对特定的潜在产品用例进行再训练和微调,同时性能也更加聚焦。

2023年7月,Meta在LLaMA基础之上训练、开源了LLaMA 2,拥有70亿、130亿、340亿和700亿四种参数,并且这一代终于允许商业化。

图片

Llama 2 预训练模型接受了2万亿个标记的训练,上下文长度是Llama 1的两倍。其微调模型已经接受了超过100 万个人类注释的训练,整体性能非常强悍。

目前,Llama 2也是整个生成式AI开源界应用最多的大模型之一,成为了开源届的生成式AI联盟主力军。看到生成式AI的庞大场景化落地,Meta已经将其列为重要发展赛道。

为了对抗OpenAI、谷歌为代表的闭源阵营,去年12月,Meta联合甲骨文、英特尔、AMD、IBM、索尼、戴尔等57家科技、学术研究等知名机构组成了“AI联盟”。这个联盟有6大目标,其中重要一项便是要搭建开源大模型生态,包括从研究、评估、硬件、安全、公众参与等一整套流程。

图片

事实上,Meta作为这个联盟的主要发起者和“盟主”,在2023年,除了LLaMA,还开源了一系列重要模型。

开源文本生成音乐模型Audiocraft:这是一个混合模型,由MusicGen、AudioGen和EnCodec组合而成。用户仅用文本就能生成鸟叫、汽车喇叭声、脚步等背景音频,或更复杂的音乐,适用于游戏开发、社交、视频配音等业务场景。

最大公开多模态视频数据集—Ego-Exo4D:该数据集收集了来自13个城市839名参与者的视频,总时长超过1400小时,包含舞蹈、足球、篮球、攀岩、音乐、烹饪、自行车维修等8大类,131个复杂场景动作。这使得AI模型更好地理解人类的行为,有助于开发出更强大的多模态大模型。

开源视觉模型DINOv2:采用了一种新的高性能计算机视觉模型的方法,无需微调具备自我监督学习(SSL),可以从任何图像集合中学习。还可以学习当前标准方法无法学习的特征,例如,深度估计。

可以预见,2024年,Meta将继续扬帆起航,开源更多的重磅产品造福全球开发者和企业。

9
查看相关话题: #Meta #LLaMa #AI大模型

相关文章