MetaAI推出适用于移动设备的紧凑型语言模型

“

Meta AI 推出 MobileLLM，一种为移动设备设计的高效语言模型。该模型通过优化参数，实现了与更大模型相当的性能，推动了 AI 模型小型化和效率化的趋势。

Meta AI 研究团队最近推出了 MobileLLM，这是一种为移动设备和其他资源受限环境量身定制的高效语言模型。这项研究在 2024 年 6 月 27 日发布，它打破了人们对于 AI 模型必须庞大的传统认知。

这个由 Meta Reality Labs、PyTorch 和 Meta AI Research (FAIR) 的成员组成的团队，专注于开发参数不足 10 亿的模型，这与 GPT-4 等拥有超过一万亿参数的庞然大物相比，简直是小巫见大巫。

Meta 的首席人工智能科学家 Yann LeCun 在 X 平台上分享了这项研究的几个亮点：

MobileLLM 的创新之处在于：

- 强调模型的深度而非广度

- 采用嵌入共享和分组查询注意力机制

- 引入了一种创新的即时块状权重共享技术

这些设计决策让 MobileLLM 在标准测试任务上的性能比同等规模的旧模型提升了 2.7% 到 4.3%。虽然这些提升看似微小，但在竞争激烈的语言模型领域，却代表了显著的进步。

特别值得一提的是，MobileLLM 的 3.5 亿参数版本在某些 API 调用任务上的准确度与规模大得多的 70 亿参数 LLaMA-2 模型不相上下。这表明在特定应用场景中，更小巧的模型也能以较少的计算资源实现相似的功能。

MobileLLM 的问世，与当前对更高效 AI 模型的追求不谋而合。随着超大型语言模型的发展势头放缓，研究者们开始更多地探索更为紧凑、专业化的模型设计。MobileLLM 的高效性和设备端部署能力，使其与一些研究者所说的小型语言模型 (SLMs) 归为一类，尽管其名称中带有 "LLM"。

尽管 MobileLLM 目前还未向公众开放，但 Meta 已经将其预训练代码开源，以便其他研究者可以在其基础上进一步开发。随着这项技术的不断成熟，我们有望在个人设备上看到更多先进的 AI 功能，尽管具体的时间表和功能细节尚不明朗。

MobileLLM 的开发标志着在使高级 AI 更加亲民和可持续方面迈出了重要一步。它挑战了有效语言模型必须庞大的传统观念，为个人设备上的 AI 应用开辟了新的可能性。