2023-06-05 11:52
号称中文千亿参数量「地表最强」：华为盘古聊天应用到底是个啥水平？
AI奇点网6月5日报道丨华为计划7月7日举行华为云HDC 2023开发者大会，届时将发布一款直接对标ChatGPT的多模态千亿级大模型应用，或称“盘古Chat”，基于华为自研盘古大模型。与ChatGPT和百度文心一言等针对C端落地不同，华为这款应用产品主要面向ToB/ToG的政企客户，服务于各行各业的工作场景，针对提高生产力和改善效率。
需要强调的是，华为盘古大模型是一个系列，而不是一个独立的大语言模型。根据华为云官网资料，盘古系列大模型包括以下五个基础模型，也被称为(L0)级大模型。
中文语言(NLP)大模型
为业界首个超千亿级参数的中文预训练大模型，被认为是最接近人类中文思维能力的AI大模型。与ChatGPT等国外AIGC大语言模型相比，华为盘古大模型更注重本土语言优化。作为一家非社交互联网属性的企业，华为为了打造盘古大模型，从互联网爬取了80TB公开文本，最后清洗出1TB的精选中文数据集供给大模型训练，在预训练阶段总共学习了超过40TB文本数据，并通过行业数据的小样本调优，以提升模型在不同垂直场景中的应用性能。
视觉(CV)大模型
超过30亿参数的业界最大的CV视觉大模型，首次实现模型按需抽取，首次实现兼顾判别与生成能力。它可以基于模型大小和运行速度需求，自适应抽取不同规模模型，AI应用开发快速落地，使AI开发进入工业化模式。使用层次化语义对齐和语义调整算法，在浅层特征上获得了更好的可分离性，使小样本学习的能力获得了显著提升，性能表现可达业界第一。
其他基础大模型
图+网络(Graph)大模型
首创图+网络融合技术，在工艺优化、时序预测、智能分析等场景有广泛应用。
多模态大模型
具备图像和文本的跨模态理解、检索与生成能力。可以从多个数据源中获得更丰富的信息，从而提高模型的性能和鲁棒性。
科学计算大模型
主要解决各种科学问题，旨在用AI促进基础科学的发展。包括传统的气象、海洋、农业、地球科学、航空航天等领域开始从偏微分方程的方法拓展到AI方法。
基础大模型夯底
向上发展垂直大模型
(L1)级 垂直领域行业大模型
在L1级别的行业大模型方面，华为已经推出了盘古金融大模型、盘古矿山大模型、盘古气象大模型、盘古电力大模型、盘古制造质检大模型、盘古药物分子大模型等行业大模型。
(L2)级 细分场景的推理模型
在L2级细分场景模型方面，华为已经推出诸如基于气象大模型的短临气象预报、台风预测等场景模型;基于电力大模型的无人机电力巡检、电力缺陷识别等场景模型;基于时尚大模型的辅助设计、版权保护等应用场景模型。此外，在物联网、智能汽车座舱、智能驾驶等领域，华为都已推出基于盘古大模型的各种应用。
基于华为盘古大模型开发的华为盘古聊天应用，将被命名为“盘古Chat”，可广泛应用于智能舆情、智能营销、智能巡检、智慧物流等多种场景，具有赋能千行百业的潜力。在人才储备和算力自主可控方面具有优势，有望成为国内最为领先的大模型应用产品。
此前曾有国内券商披露，在训练盘古大模型时，华为团队调用了超过2000块昇腾910服务器芯片，进行了超2个月的数据训练能力。
华为盘古大模型诞生于2020年11月在华为云内部会议，并于2021年4月对外披露相关消息。根据华为公布的一份论文数据，盘古PanGu-Σ大模型的参数量高达1.085万亿，并基于华为自研MindSpore框架开发。
根据内测人士透露，盘古PanGu-Σ大模型的自然语言对话能力可达到GPT-3.5的水平。在2022年4月华为官宣发布2.0版本，并且宣布自然语言处理大模型、计算机视觉大模型和科学计算气象大模型均已实现商用上线。
来自天眼查的信息，华为已于近期申请注册两个“HUAWEINETGPT”(华为网络GPT)商标。此外，华为已成功抢注多个带有“盘古”“PANGU”字样的商标。
伴随中美摩擦加剧以及高科技禁运的不利条件下，备受国人关注的AI训练算力方面，在此之前，华为昇腾计算业务CTO周斌在采访中曾表示，有信心承载类似ChatGPT这种规模的应用训练，他认为华为完全没有问题。
他说：“我们已经服务了国内几十家合作伙伴的大模型，至少从底层技术软硬件的规模上来讲，华为的参数量不比ChatGPT少，而ChatGPT所需的算力需求，我们已经经过了大规模验证，是完全没问题的。”
相关文章
Altman
