2023-10-09 17:20
百度文心大模型4.0训练最新内幕：“万卡集群”开启万亿参数级训练，能力有望对标GPT-4
AI奇点网10月9日报道丨AI奇点网获悉，百度公司正在加紧训练旗下的AI大模型——文心大模型4.0，很可能会在10月17日举办的百度世界大会上发布。而最新的情报显示，文心大模型 4.0 正在加紧训练，已经接近可发布状态。
今天，更多关于文心大模型4.0的内幕被曝光，涉及了底层架构、基础设施、训练数据集、成本等关键信息。
先总结一下核心的讯息点：
文心大模型 4.0 的参数规模要大于目前所有公开发布参数的 LLM，这意味着文心大模型 4.0 的参数规模有望突破万亿级别。
如果要比较的话，对比GPT-4被曝光，训练参数量可能在 1.8 万亿左右，文心大模型 4.0 仍然是一个单一体系的大模型，并没有采用类似 ChatGPT 和很多其他大语言模型目前正在应用的所谓”混合专家模型(MoE)”。
这么大参数量的模型，对算力要求注定不会小。现在的消息是，文心 4.0 是在万卡 AI 集群上训练出来的，可能是——超万张GPU集群训练，创建史上最大的LLM参数大模型。应该也算上是国内首次使用万卡规模集群进行训练的大语言模型。
所谓的“万卡集群”，国内目前只有华为、阿里能够实现。据分析称，正是因为百度飞桨的深度联合，才能基于“万卡集群”训练出如此巨大规模的LLM大模型。
最后，根据内部员工的说法，百度实际上已经开始秘密小流量测试文心大模型4.0。有小部分的文心一言用户其实正在使用的就是最新的4.0版本模型。
如无意外的话，文心大模型4.0最快将在10月17日下周的百度世界大会上正式公布。让我们拭目以待，看看能否与目前的行业标杆GPT-4背水一战？
相关文章
近期文章
更多
量子位
Altman
