一文理解今年的诺贝尔物理奖

今年的获奖者运用物理学工具构建了方法，为当今强大的机器学习奠定了基础。约翰·霍普菲尔德（John Hopfield）设计了一种能够存储和重建信息的结构。杰弗里·辛顿（Geoffrey Hinton）发明了一种可以独立识别数据特性的方式，这对现在使用的大型人工神经网络至关重要。

他们利用物理学在信息中寻找模式

许多人都体验过计算机如何进行语言翻译、图像解读，甚至进行合理的对话。然而，可能不为人知的是，这种技术在研究中已经发挥了重要作用，包括海量数据的整理和分析。在过去的十五到二十年中，机器学习的发展突飞猛进，依赖一种称为人工神经网络的结构。如今，当我们谈论人工智能时，往往指的就是这种技术。

尽管计算机无法思考，但现在的机器能够模拟记忆和学习等功能。今年的物理学获奖者使这一切成为可能。他们利用物理学的基本概念和方法，开发了使用网络结构处理信息的技术。

机器学习与传统软件不同，后者的工作方式类似于食谱。 软件接收数据，根据明确的描述进行处理并生成结果，就像一个人收集原料，按照食谱制作蛋糕。而在机器学习中，计算机通过示例进行学习，使其能够解决那些过于模糊和复杂的问题，难以通过逐步指令来管理。例如，计算机可以解读一张图片，识别其中的物体。

模拟大脑

人工神经网络通过整个网络结构处理信息。这一灵感源于对大脑工作原理的探究。20世纪40年代，研究人员开始探索大脑神经元和突触网络背后的数学原理。心理学方面的突破则源于神经科学家唐纳德·赫布（Donald Hebb）的假设，认为 学习是由于神经元之间的连接在共同工作时得到增强。

后来，研究者们尝试通过构建人工神经网络来模拟大脑网络的功能。在这些模型中，大脑的神经元通过赋予不同值的节点进行模拟，而突触则通过节点之间的连接表示，这些连接可以加强或削弱。唐纳德·赫布的假设至今仍是更新人工网络的重要规则，通过一种称为 训练(Training) 的过程得以应用。

在20世纪60年代末，一些令人失望的理论结果使得许多研究者怀疑这些神经网络会否有实际用途。然而，到了80年代，人工神经网络的兴趣再次被激发，多项重要想法应运而生，其中包括今年获奖者的研究成果。

联想记忆

想象一下，你试图回忆一个相对不常用的词，比如形容电影院和讲堂那种倾斜地面的词。你在脑海中搜索：好像是 ramp……也许是 radial？不对，想起来了，是 rake！

这种通过类似词汇寻找合适词语的过程与物理学家约翰·霍普菲尔德（John Hopfield）在1982年发现的联想记忆相似。 霍普菲尔德网络能存储模式，并有方法重建它们。当网络接收到一个不完整或略有扭曲的模式时，可以找到与之最相似的存储模式。

霍普菲尔德以前曾利用他在物理学方面的知识探索分子生物学中的理论问题。一次，他受邀参加关于神经科学的会议，接触到有关大脑结构的研究，令他十分着迷，开始思考简单神经网络的动态特性。当神经元一起工作时，会产生一些新的强大特性，而这些特性对于仅仅观察网络各个独立部分的人来说是不可见的。

1980年，霍普菲尔德离开了普林斯顿大学的职位，因为他的研究兴趣已将他引导到物理学同事们的工作领域之外，并迁往加州。他接受了加州理工学院（California Institute of Technology）在南加州帕萨迪纳的化学和生物学教授职位。在那里，他可以自由利用计算机资源进行实验，发展他的神经网络理论。

然而，他没有抛弃他在物理学上的基础，而是从中找到了对理解许多小组成部分共同作用时产生新现象的灵感。他尤其从对磁性材料的学习中受益，这些材料因原子的自旋而具备特殊特性——这种特性使得每个原子像一个微小的磁铁。相邻原子的自旋相互影响，可以形成自旋方向相同的区域。他利用描述材料在自旋相互作用下变化的物理学，构建了一个包含节点和连接的模型网络。

网络在景观中保存图像

霍普菲尔德（Hopfield）构建的网络中，所有节点通过不同强度的连接相互连接。每个节点能够存储一个单独的值——在霍普菲尔德的早期研究中，这个值可以是 0 或 1，就像黑白图像中的像素。

霍普菲尔德用一个与物理学中自旋系统能量相等的属性来描述网络的整体状态。能量是通过一个公式计算的，该公式结合了所有节点的值和它们之间的连接强度。霍普菲尔德网络通过将图像输入节点进行编程，图像的值被赋为黑（0）或白（1）。接着，网络的连接通过能量公式调整，以使保存的图像获得低能量。当输入另一个模式时，有一个规则可以逐个检查节点，看看改变该节点的值是否能降低网络的能量。如果发现将黑色像素变成白色能降低能量，它就会改变颜色。这个过程会持续，直到找不到进一步改进为止。当达到这一点时，网络通常已经成功再现了它所训练的原始图像。

如果只保存一个模式，这似乎并不特别。你可能会想，为什么不直接保存图像并与另一个待测试的图像比较，但霍普菲尔德的方法特别之处在于可以同时保存多幅图像，且网络通常能将它们区分开来。

霍普菲尔德将搜索网络中保存状态的过程比作在山峰和谷地的风景中滚动一个球，摩擦力减缓了它的运动。如果在特定位置放下球，它会滚入最近的谷底并停在那里。当网络被输入接近某个已保存模式的图案时，它同样会前进，直到到达能量景观的谷底，从而找到记忆中最接近的模式。

霍普菲尔德网络可以用来重建包含噪声或部分擦除的数据。

霍普菲尔德和其他研究者持续发展霍普菲尔德网络的功能细节，包括可以存储任何值的节点，而不仅限于零或一。如果把节点视为图像中的像素，它们可以呈现不同的颜色，而不仅仅是黑或白。改进的方法使得能够保存更多的图像，并在图像相似时仍能进行区分。只要信息由多个数据点构成，就可以识别或重建任何信息。

使用十九世纪物理学进行分类

记住一幅图像是一回事，但解读其所描绘的内容则更为复杂。

即使是很小的孩子也能指认不同的动物，自信地说出它们是狗、猫还是松鼠。尽管他们偶尔会犯错，但很快他们几乎总是能正确识别。孩子们甚至在没有看到物种或哺乳动物等概念的图表或解释的情况下也能学习。通过接触几种类型的动物，这些类别便在孩子的脑海中形成。人们通过感知周围的环境，学习识别猫、理解词汇，或是进入一个房间后察觉到某种变化。

当霍普菲尔德发表关于联想记忆的文章时，杰弗里·辛顿正工作于美国的卡内基梅隆大学。他之前在英格兰和苏格兰学习实验心理学和人工智能，并思考机器是否能以类似人类的方式学习处理模式，找到自己的分类方法。辛顿与同事特伦斯·赛诺斯基(Terrence Sejnowski)一起，从霍普菲尔德网络出发，结合统计物理的思想，构建了一种新的模型。

统计物理学描述了由许多相似元素组成的系统，比如气体中的分子。追踪气体中所有独立的分子是非常困难的，甚至是不可能的，但可以从整体上考虑它们，以确定气体的属性，如压力或温度。气体分子在其体积内以不同速度分散的方式有很多，但仍然可以导致相同的整体属性。

利用统计物理学可以分析个体成分共同存在的状态，并计算它们发生的概率。 一些状态比其他状态更可能，这取决于可用能量的多少，这在十九世纪物理学家路德维希·玻尔兹曼(Ludwig Boltzmann)的方程中有所描述。辛顿的网络利用了这一方程，这种方法在1985年以引人注目的名字“玻尔兹曼机”发表。

识别相同类型的新例子

玻尔兹曼机通常由两种不同类型的节点组成。信息首先输入到一组被称为 可见节点 的节点中，另一组节点则构成了 隐藏层 。隐藏节点的值及其连接也对整个网络的能量产生贡献。

机器的运行是通过逐一更新节点值的规则来实现的。最终，机器会进入一种状态，在这种状态下，节点的模式可以变化，但网络的整体属性保持不变。每一种可能的模式都会有一个特定的概率，这个概率由网络的能量通过玻尔兹曼方程来决定。当机器停止时，它会生成一个新的模式，这使得玻尔兹曼机成为一种早期的 生成模型 。

玻尔兹曼机能够学习——不是通过指令，而是通过示例。它通过调整网络连接中的值进行训练，以确保在训练时输入到可见节点的模式具有尽可能高的出现概率。如果在训练中同一模式出现多次，其出现的概率会进一步增加。此外，训练还会影响机器输出与训练示例相似的新模式的概率。

经过训练的玻尔兹曼机能够识别它之前未接触过的信息中的熟悉特征。比如，你可能会在朋友的兄弟姐妹身上立刻认出他们的亲缘关系。以类似的方式，玻尔兹曼机能够识别全新的示例，只要它属于训练材料中的某个类别，并能将其与不相似的内容区分开来。

在原始形式下，玻尔兹曼机的效率相对较低，解决问题的速度也很慢。但随着其多种形式的发展，情况变得更加有趣，辛顿（Hinton）对此进行了持续研究。后续版本通过去除一些单元间的连接来简化设计，结果表明，这可能提升了机器的效率。

1990年代，许多研究者对人工神经网络失去了兴趣，但辛顿则是继续深耕该领域的少数人之一。他帮助引发了一轮新的突破；在2006年，他与同事西蒙·奥辛德罗（Simon Osindero）、叶伟辉（Yee Whye Teh）和鲁斯兰·萨拉库丁诺夫（Ruslan Salakhutdinov）共同开发了一种通过叠加的玻尔兹曼机层对网络进行预训练的方法。这种预训练为网络连接提供了更好的起点，从而优化了其训练效果，使其更好地识别图像中的元素。

玻尔兹曼机通常是更大网络的一部分。例如，它可以根据观众的喜好推荐电影或电视剧。

机器学习——今天与明天

得益于1980年代及其后的研究， 约翰·霍普菲尔德（John Hopfield）和杰弗里·辛顿（Geoffrey Hinton）为2010年左右开始的机器学习革命奠定了基础。

我们今天看到的发展，得益于可以用于训练网络的大量数据和计算能力的飞速提升。如今的人工神经网络通常规模庞大，由多个层次构成，这被称为深度神经网络，而其训练方式称为深度学习。(Deep Learning)

霍普菲尔德1982年关于联想记忆的文章，能让我们更好地理解这一发展。在文章中，他使用了一个30节点的网络，若所有节点相互连接，则总共有435个连接。每个节点都有自己的值，连接的强度也各不相同，总参数不到500个。他还尝试过一个包含100节点的网络，但由于当时计算机的限制，这变得过于复杂。我们可以将其与今天的大型语言模型相比较，这些模型的网络参数超过一万亿（即一百万百万）。

现在，许多研究者正在探索机器学习的各种应用领域，哪些应用会更具可行性仍需观察。同时，关于这项技术发展的伦理问题也引发了广泛的讨论。

由于物理学为机器学习的发展提供了工具，观察物理学如何从人工神经网络中受益也很有趣。 机器学习早已在许多与诺贝尔物理奖相关的领域中得到应用，比如用于筛选和处理发现希格斯粒子所需的大量数据，减少来自碰撞黑洞的引力波测量噪声，或是寻找系外行星。

近年来，这项技术还开始应用于计算和预测分子与材料的性质，例如计算决定蛋白质功能的结构，或探索哪些新材料可能在高效太阳能电池中具有最佳性能。