苹果智能揭秘神奇背后的尖端人工智能技术

“

苹果在WWDC上推出个人智能系统Apple Intelligence，集成至平台，优化移动设备性能，专注日常任务，与OpenAI合作处理复杂请求。

苹果公司在全球开发者大会（WWDC）上推出了自家的“个人智能系统”——Apple Intelligence，这一系统将深度融合进苹果的各个平台。

Apple Intelligence 基于苹果自研的一系列生成模型，包括设备端和服务器端的基础模型、图像生成的扩散模型以及编码模型。必要时，它还能接入像 ChatGPT 这样的第三方模型，以处理更复杂的需求。

目前我们了解到的关于这两个基础模型以及 Apple Intelligence 工作方式的简要概述如下：

设备端模型

- 规模：约30亿参数

- 词汇量：49K

- 优化：采用低比特量化和分组查询注意力技术，以提升速度和效率。

- 性能：在 iPhone 15 Pro 上，每个提示令牌的响应时间仅为0.6毫秒，每秒可生成30个令牌。

服务器端模型：

- 词汇量：100K

- 能力：利用私有云计算处理复杂任务，同时保障隐私和安全。

- 优化：采用预测解码和上下文修剪等高级技术，以提升性能。

- 安全：基于 iOS 的强化版，通过强大的加密和安全启动流程，确保用户数据的隐私。

苹果的模型是在经过精心筛选的数据集上训练的，这些数据集不包含任何个人用户数据。训练数据包括授权数据、苹果机器人收集的公开数据以及合成数据。训练完成后，苹果利用拒绝采样微调和基于人类反馈的强化学习等创新算法，来提升模型遵循指令的能力。苹果强调，在训练基础模型时，不会使用用户的私人数据或交互信息。

然而，优化阶段才是真正展现技术实力的时刻。苹果采用了包括分组查询注意力、共享嵌入表、低比特量化和高效的键值缓存更新等一系列尖端技术，成功开发出了在保持质量的同时，满足移动设备内存、功率和性能限制的高压缩模型。

Apple Intelligence 生态系统的图解

与 Google 的 Gemini Nano 和 Microsoft 的 Phi 等通用模型不同，苹果的模型针对用户日常所需的活动进行了特别优化，如摘要生成、邮件回复和校对等。这是通过适配器实现的——这些是插入到预训练模型不同层的小神经网络模块。这使得模型能够适应不同任务，同时保持其通用知识。重要的是，这些适配器可以动态加载和更换，使基础模型能够即时专业化，以适应当前任务。

在比较苹果的模型与市场上其他模型时，情况变得有些复杂。尽管苹果已经分享了他们对特定功能适配器和基础模型进行的性能评估，但他们在基准测试方面表现得非常谨慎。

苹果基础模型与可比模型在并排评估中首选响应的比例。

不出所料，苹果将其模型与开源和商业竞争对手进行了比较，并发现人类评估者更倾向于选择苹果的模型，因为它们在安全性和有用性方面更胜一筹。苹果表示，他们更重视人类评估，因为这些结果与用户体验高度相关。

在内部摘要和撰写基准测试中的写作能力（数值越高表示性能越好）。

苹果还表示，其模型在面对对抗性提示时也表现出色，实现了更低的有害内容、敏感话题和事实性违规率。

总的来说，苹果的设备端模型在性能上与其他小型语言模型相当，而服务器端模型则达到了 GPT-3.5 的水平。对于 Apple Intelligence 所专注的有限用例，这种能力水平应该已经绰绰有余。这也是为什么，尽管苹果分享了令人印象深刻的评估数字，他们还是选择与 OpenAI 合作，以处理更复杂的请求。

苹果已经竭尽全力确保他们的 AI 模型不仅性能出色，而且在 iPhone 15 Pro 等移动设备上运行高效。虽然他们对基础模型的训练和优化方法并非革命性的，但通过专注于效率、性能和可扩展性，他们似乎已经成功地提供了强大且个性化的 AI 体验。