solidot新版网站常见问题,请点击这里查看。
人工智能
Wilson(42865)
发表于2024年12月19日 23时52分 星期四
来自王牌飞行员
由于在 iPhone 中集成百度大模型的进展不顺,苹果正与腾讯和字节跳动磋商在中国销售的 iPhone 引入这两大巨头的大模型。苹果已经开始在 iPhone 中推出 OpenAI 的 ChatGPT,但 ChatGPT 在中国不可用,而在中国推出生成式 AI 服务需要先获得政府的批准,这一监管要求迫使苹果为中国销售的 iPhone 寻找本地合作伙伴。苹果与腾讯和字节跳动之间的谈判还处于早期阶段。此前苹果一直与百度合作整合百度的大模型,但双方在很多方面都存在分歧,百度希望保留 iPhone 用户数据用于分析,而这与苹果的隐私政策相悖。

人工智能
Wilson(42865)
发表于2024年12月19日 15时50分 星期四
来自天渊
苹果工程师在官方博客上透露与英伟达合作改进了大模型生成文本的速度。苹果今年早些时候开源了 Recurrent Drafter(ReDrafter) 技术,ReDrafter 代表了一种使用大模型生成文本的新方法,速度更快,它结合了束搜索(beam search)和动态树注意力(dynamic tree attention)。苹果与英伟达合作将 ReDrafter 应用于生产中,ReDrafter 被集成到在英伟达 GPU 上运行大模型的工具 NVIDIA TensorRT-LLM 中。基准测试显示,使用 ReDrafter 能显著减少延迟,使用更少的 GPU 消耗更少的电力。