点击蓝字 关注我们
基于线虫神经系统的“液体”神经网络可以即时转换其算法，从而获得前所未有的速度和适应性。
实际上，这并非天方夜谭。而是正一步一步地成为现实。
人工神经网络是大致模仿人类大脑组织方式的计算机程序，目前已经取得了一系列成功。但尽管进展迅速，神经网络仍然不够灵活，它几乎没有能力在运行中作出即时改变，或者适应陌生的环境。
2020年，麻省理工学院的两名研究人员带领一个团队，推出了一种基于生物智能的新型神经网络——不过，参考的不是人类的大脑。他们从一种微小的蠕虫——秀丽隐杆线虫（Caenorhabditis elegans）中获得灵感，制造出了“液体神经网络”（liquid neural networks）。在去年取得突破性进展后，这种新型网络现在可能已经具有足够的通用性，足以在某些应用中取代传统神经网络。
加州大学伯克利分校的机器人专家肯 · 戈德堡（Ken Goldberg）表示，液体神经网络提供了“一种优雅而紧凑的替代方案”。他还补充说，实验已经表明，这些神经网络可以比其他所谓的“连续时间神经网络”（continuous-time neural networks）运行得更快、更准确。而连续时间神经网络，是指对随时间变化的系统进行建模的机器学习系统。
新设计背后的推动者拉明 · 哈萨尼（Ramin Hasani）和马蒂亚斯 · 莱希纳（Mathias Lechner）多年前就意识到，秀丽隐杆线虫可能是一种理想的有机生命体，可用于研究如何制造能适应意外情况的弹性神经网络。虽然秀丽隐杆线虫只有一毫米长，且处于食物链底层，但却是为数不多的具有完全规划的神经系统的生物之一。它能够进行一系列高级行为：移动、觅食、睡觉、交配，甚至从经验中学习。莱希纳说：“它生活在总是发生变化的现实世界中，但却几乎可以在任何条件下表现良好。”
对这种低等生命的尊重促使莱希纳和哈萨尼建立了全新的液体神经网络，其中每个神经元都由一个方程控制，这个方程可以预测其随时间的行为。正如神经元之间相互联系一样，这些方程之间也相互依赖。该网络基本上解决了整个连接方程组，使其能够在任何时刻描述系统的状态——这与传统神经网络不同，后者仅在特定时刻及时给出结果。
莱希纳说：“其他模型只能告诉你在一秒、两秒或三秒的时候发生了什么。但是像我们这样的连续时间模型可以描述在 0.53 秒、2.14 秒或您选择的任何其他时间发生的事情。”
神经元之间的连接叫做突触，而液体网络在处理突触的方式上也有所不同。在标准神经网络中，连接的强度可以用单个数字来表示，也就是权重。而在液体网络中，神经元之间的信号交换是一个由“非线性函数”控制的概率过程，这意味着它对输入的响应并不总是成比例的。例如，输入如果加倍，输出可能变大，但也可能变小。神经元的反应方式可以根据它接收到的输入而变化，这种内在的可变性也是它被称为液体网络的原因。
Mathias Lechner（左）和 Ramin Hasani 设想了一种基于秀丽隐杆线虫神经系统的新型灵活神经网络（图片由 Ramin Hasani 提供）
传统网络的核心算法在训练过程中就被设定了，但当我们输入大量数据来优化权重时，液体神经网络便体现出更强的适应性。本文和其他几篇关于液体网络的论文的合著者,麻省理工学院计算机科学与人工智能实验室主任丹妮拉·鲁斯 (Daniela Rus) 表示：“它们能够根据观察到的输入来改变基本方程式，特别是改变神经元的反应速度。”
液体神经网络比标准神经网络更具适应性。 “它们能够根据观察到的输入改变基本方程，”帮助创建和分析新型网络的Daniela Rus如是说。
为了展示液体神经网络的能力，科学家用它来尝试自动驾驶汽车。传统的神经网络只能以固定的时间间隔分析来自汽车摄像头的视觉数据。比起传统机器学习中出现的神经元和突触数量，液体神经网络仅由 19 个神经元和 253 个突触组成，这以机器学习的标准来看是微不足道的，但它却可以做出更迅速的反应。鲁斯表示，“我们的模型可以更频繁地采样，比如在道路曲折的情况下。”
该模型成功使汽车保持在正轨，但同时它也有一个缺陷——速度太慢。这个问题来源于那些代表突触和神经元的非线性方程——通常来讲，求解这些方程需要通过迭代计算来逼近最终的解，这就需要在计算机上做大量的重复计算。这项工作通常由名为求解器的专用软件包负责，这些软件包需要分别应用于每个突触和神经元。
而在去年发表的一篇论文中，研究团队发现了一种可以绕过该瓶颈的新型液体神经网络。这个网络依赖于相同类型的方程，关键的进步在于哈萨尼发现解这些方程不需要通过艰巨的计算机迭代，甚至可以通过手算解决。网络有一个非常近似的“闭式解”（closed-form solution），这个解可以用基本的代数式写出来，而不必使用复杂的迭代逼近。通常，这些非线性方程没有闭式解，但哈萨尼想出了一个足够好用的近似解。
鲁斯说：“有闭式解意味着，你有一个方程，你可以为其插入参数值并进行基本数学运算，然后你一下就能得到答案。”这减少了计算时间和精力，大大加快了计算的过程。
伊利诺伊大学厄巴纳-香槟分校的计算机科学家萨扬 · 米特拉（Sayan Mitra）说：“他们的方法在不牺牲准确性的情况下，以几个数量级的优势击败了竞争对手。”
哈萨尼说，除了速度更快，他们最新的网络也异常稳定，这意味着该系统可以处理大量输入而不会失控。科罗拉多大学博尔德分校的计算机科学家斯利拉姆 · 桑卡拉纳拉亚南（Sriram Sankaranarayanan）说：“这项研究的主要贡献是，液体神经网络利用简洁而纯粹的结构，把稳定性和其他一些优良特性融入到这些系统中。”液态网络似乎在它所谓的“最佳点”运行：它们足够复杂，可以让有趣的事情发生，但又不会复杂到导致混乱行为。
目前，麻省理工学院的团队正在测试他们部署在一架自主无人机上的最新网络。尽管这架无人机接受的训练是在森林中航行，但科学家们已经将它转移到剑桥的城市环境中，以了解它如何应对新情况。莱希纳称初步结果非常振奋人心。
除了完善目前的模型，该团队还致力于改进其网络架构。莱希纳说，“下一步是要弄清楚我们到底需要多少神经元来执行特定任务。”他们还希望设计出一种连接神经元的最佳方式。目前，网络中的每个神经元都与其他所有神经元相连，但这并不是秀丽隐杆线虫中的工作方式，它们的突触连接更具选择性。通过进一步研究线虫的布线系统，他们希望能确定其系统中哪些神经元应该耦合在一起。
除了自动驾驶和飞行等应用，液体网络似乎也非常适合分析电网、金融交易、天气和其他随时间波动的现象。此外，哈萨尼说，最新版本的液体网络可用于“以前无法实现的规模进行大脑活动模拟。”
米特拉对这种可能性特别感兴趣。“在某种程度上，这挺诗意的，这项研究可能最终会回到原点”，他说，“以神经网络的发展趋势，我们从自然界汲取的想法，可能很快就会帮助我们更好地理解自然。”
原文链接
https://www.quantamagazine.org/researchers-discover-a-more-flexible-approach-to-machine-learning-20230207/
撰文：Steve Nadis
翻译：潘玲玲
编辑：刘乐丰
