2023-09-19 12:16
国外技术发烧友深扒：苹果iOS 17内置了AI大模型，参数规模大约相当于GPT-2
AI奇点网9月19日报道丨北京时间9月19日凌晨，苹果正式向iOS用户推送了最新版本的iOS 17系统更新。AI元年，AIGC大浪潮之下，苹果恐怕很难再回避大模型带来的话题热度。作为一家消费电子大厂，苹果的 Transformer 架构AI大模型的底细，已经被国外一名技术发烧友给扒出来了。
今年WWDC 2023开发者大会上，苹果发布了iOS 17系统与macOS Sonoma 系统，内置一项AI生成的输入法功能，可以通过用户输入的文本来预测后边的内容。从某种角度来说，苹果并不愿意将此功能称之为“人工智能”。国外一位名叫 Jack Cook 的小哥，就把 macOS Sonoma 翻了个底朝天，结果，还真挖出不少新鲜信息。
Cook 的本科和硕士毕业于麻省理工学院的计算机专业，目前还在攻读牛津大学的计算机硕士。他曾在英伟达实习，专注于 BERT 等语言模型的研究。他还是《纽约时报》的自然语言处理高级研发工程师。
从模型架构上，Cook 认为苹果的大语言模型更倾向基于 GPT-2 打造。在分词器(tokenizer)方面，Emoji的表情符号在其中的比重十分突出。
苹果的大语言模型基于GPT-2架构
苹果的AI大模型能力，主要体现在输入法方面。苹果自带的输入法可以实现单词预测和纠错的功能。
Jack Cook具体测试了一下，发现这个功能主要针对单个单词的预测进行实现。
大模型有时也能预测即将出现的多个单词，但这仅限于已经输入的句子语义十分明确的前提下。
Cook推测苹果的模型应该是基于 GPT-2 架构打造。他甚至扒出了更多关于 GPT-2的关键信息量。比如在 token embeddings、位置编码、解码器块和输出层，每个解码器块中都有类似 gpt2_transformer_layer_3d 这样的字眼，里边就包含“GPT2”的关键词。
Cook 还推测，苹果模型的每一层约有 3400 万参数，隐藏层大小是 512。也就是说，它比 GPT-2 参数量最小的版本还要小。他认为，苹果此举是因为需要在移动终端设备上运行就需要更加的省电，同时能够保持快速、频繁运行。
苹果大模型建立在手机端侧进行运算
苹果官方在 WWDC 上的说法是：“每点击一个键，iPhone 就会运行模型一次。”这就意味着，每一次手指动作都是一次文本生成的过程，这样就无法很好地连贯续写文本段落。
Cook 的文章一经发布，就引发了网友的热议。其中一名网友表示：“我一直认为这就是人工智能应该部署的方式。与其试图将AI作为端到端的云服务解决方案来销售，不如让它首先承担力所能及的一小部分。它对于终端设备来说具有成本效益，对于用户来说也很有价值。是一个双赢工程！”
相关文章
Altman
