solidot新版网站常见问题,请点击这里查看。
苹果
Wilson(42865)
发表于2024年07月31日 18时48分 星期三
来自开普勒62号3:旅行
苹果研究人员发表了一篇论文《Apple Intelligence Foundation Language Models》,详细谈论了用 Google 的 TPU v4 和 TPU v5 训练其 AI 模型。今天绝大多数 AI 模型都是用英伟达的 GPU 训练的,但苹果没有选择英伟达的硬件。如果你知道两家公司合作历史,应该知道苹果对英伟达是非常不信任的,在英伟达如日中天的 AI 时代苹果看起来也不打算和英伟达修复关系。苹果的服务器端 AI 模型 AFM-server 使用了 8,192 个 TPU v4 芯片训练,客户端的 AFM-on-device 使用了 2,048 个 TPU v5 芯片训练。AFM-on-device 有不到 30 亿个参数,苹果声称其模型击败了部分 Meta、OpenAI、Anthropic 和 Google 的模型。AFM-on-device 总体上赢了 Gemma 7B、Phi 3 Mini 和 Mistral 7B,但未能超越 LLaMa 3 8B。