2024-07-22 15:02
Llama 3.1意外泄露！405B超大杯内测：9.11和9.9哪个大轻松解决
Llama 3超大杯405B参数版，终于要来了。
而最新HuggingFace抱抱脸泄露页面显示，还不止于此：
新模型被命名为Llama 3.1.与已经发布的Llama 3系列8B和70B版本相比，又涨了一个版本号。
模型发布在一个神秘的组织账号sllhf，旗下并没有公开发布的内容。
该组织成员多为HuggingFace内部工程师，是专门用来发布测试版模型的，所有仓库都被设置为私有。
不过这一次，Llama 3.1的特定版本被短暂的误设置为公开。
根据及时看到该页面的网友反馈，3.1系列将会拥有128k上下文长度，有8B、70B和405B三个版本，前两个从405B蒸馏而来。
这或许意味着，Llama 3已经发布的两个小号版本，也会在这次得到更新。
Llama 3.1的405B参数将是密集的，不采用像GPT-4一样的MoE架构。
此前有消息称，Llama 3 405B将于7月23日发布，而且部分用户已经在Meta AI应用收到测试邀请。
随着3.1版本泄露，也有截图显示Meta AI应用上也更新了3.1版本。
并且这个版本轻松解决了困扰很多大模型的“9.11和9.9哪个大？”问题。
不过在满血版GPT-4标志性的用TikZ代码画独角兽测试上，它的表现就不怎么好了。
扎克伯格曾在访谈中称，Llama 3在停止训练时仍然在学习，并未完全收敛。
那么为什么要在此时停下来?
因为Llama 4要开始训练了，需要腾出GPU资源。
更多关于Llama 4的消息，也在Meta与欧盟关于数据隐私的博弈上得到验证。
根据媒体Axios消息，Llama 4在6月开始训练，使用旗下包括Facebook和Instagram社交平台上用户的公开帖子数据。
而在开始之前，已经向数据隐私监管最严格的欧盟地区用户发送超过20亿条通知，提供了不同意把自己数据用于大模型训练的选项。
Llama 4将包含文本、图像、视频与音频模态，Meta计划将新模型应用在手机以及智能眼镜中。
此外，Llama 3系列也有包含图像的多模态版本，不过计划在秋天发布。
即将发布的Llama 3.1 405B仍然是纯文本的。
最后，在下周的图形学顶会SIGGRAPH 2024上，小扎与老黄将展开一场“炉边谈话”，可能会谈到Llama 3.1以及后续版本的更多消息。
相关文章
近期文章
更多
Kardashian
