Meta首席科学家不要从事LLM研究它已经被大公司主导

“

摘要：在巴黎VivaTech科技盛会上，Meta AI首席Yann LeCun建议学生不要专注于大型语言模型（LLMs）的研究，并鼓励开发新一代人工智能系统以突破现有局限。

在巴黎举办的年度科技盛会VivaTech上，Meta AI的首席Yann LeCun向有意投身人工智能行业的学生们提出了建议。LeCun在会议上表示：“如果你是一名对开发下一代人工智能系统感兴趣的学生，我建议你不要从事LLMs的研究。这一领域已经被大公司所主导，你很难在其中发挥重要作用。”

LeCun还鼓励人们开发能够突破现有大型语言模型局限的新一代人工智能系统。他强调，远离基于LLMs的模型，探索基于LLMs模型的替代方案，是当前人工智能领域的一个重要议题。

年轻的开发者Mufeed VH，他创造了Devika——一个Devin的替代品，就谈到了人们应该如何摒弃基于Transformer的模型，转而构建新的架构。Mufeed表示：“大家都在做相同的事情，但如果我们专注于不同的架构，例如RMKV（一种基于递归神经网络RNN的架构），那将是非常有益的。”他还解释了这种特定架构所具有的无限上下文窗口和推理能力。

LeCun一直强烈主张远离LLMs，他认为应该将控制权从少数人手中夺回。这也是他积极倡导开源的另一个原因。LeCun说：“未来我们与数字世界的每一次互动都将通过人工智能助手来进行。”他敦促各大平台不要让少数人工智能助手控制整个数字世界。

他警告说：“如果任由少数人工智能助手控制整个数字世界，那将对思想的多样性、民主以及几乎所有事物构成极大的危险。”

然而，LLMs仍在不断发展。AI/ML顾问Dan Hou谈到了GPT-4o，并强调了其训练模型的重要性。当人们普遍认为文本是所有复杂模型的基础时，GPT-4o的设计目标是能够原生地理解视频和音频。这将影响未来版本可以处理的数据量。

Hou表示：“采用原生多模态架构后，人工智能能变得多么智能？我猜想答案是要聪明得多，好得多。”

此外，Sam Altman在最近的一次采访中也谈到了数据将不再是问题，这间接回应了训练LLMs的担忧。

综上所述，尽管LeCun对LLMs持反对态度，但基于Transformer的训练模型仍在不断进化。同时，LeCun的建议也为有意投身人工智能行业的学生们提供了宝贵的指导，鼓励他们探索新的研究方向，以推动人工智能领域的发展。