本文来自微信公众号:神经现实(ID:neureality),作者:Daphne L-Ringuet,译者:Benny Cui,题图来自:《超体》
仅用一块涡轮加速的显卡(turbocharged GPU),一支研究团队成功模拟了猴子的部分大脑——通常这种模拟需要一台强大和昂贵的超级计算机来完成,如今科学家们声称一台台式机就可以胜任。
该实验由萨塞克斯大学(University of Sussex)的研究者完成,他们在实验中模拟了数百万个神经元以及数十亿的神经连接,而这仅仅耗费了一台搭载了最新的图形处理器(GPU)的普通电脑。
尽管图形处理器早已被用来加快AI模型的运行速度,但将这种尺度的模型放到普通的游戏设备上进行模拟还是首次——你很有可能在大多数游戏玩家的卧室里就能找到同款机器。研究者们开发了一种新方法,有效地模拟了猕猴的视觉皮层,其中包含了数百万神经突触,而之前只能通过超级计算机来完成这种模拟。
这种类型的模拟大多数要借助超级计算机系统提供的巨量存储,但是这些科学家们开发了一种更加高效的技术——“过程化连接”(procedural connectivity),这一技术可以极大地减少模拟时需要存储的数据。这项研究被发表在《自然-计算机科学》上。
对大脑的模拟通常需要利用脉冲神经网络(spiking neural network),这是一种特殊的AI系统,其神经网络中的神经元通过一定顺序的脉冲相互交流,从而模拟大脑的活动。
为了准确预测神经网络中脉冲如何影响神经元,在模型运行之前,通常首先要生成并存储一些信息,用于记录哪些神经元之间由突触相连接,以及突触的强度。然而,由于神经元只是间歇性地发放,所以在存储空间里存放如此大量的数据是十分低效的。
而“过程化连接”则能够在不暂停运行程序的情况下,仅在需要时生成神经元的连接信息,并且不必在内存中存取。这样一来,计算机完全不需要消耗内存来存储神经元连接情况的数据。
“一般这些实验需要你提前生成神经元连接组的信息,然后保存在内存里,但是我们的方法试图避免这个过程。”詹姆斯·奈特(James Knight)是本研究的共同作者,他是萨塞克斯大学计算机科学系的研究员,“使用我们的方法,每次神经元发出一个脉冲,一个连接的详细信息就会重新生成。”
他继续说:“我们利用GPU的算力,可以在不打断程序运行的情况下重新计算连接,并且在每个脉冲释放时都能进行计算。”
有了GPU强大的算力支持,脉冲神经网络可以一边保持运行程序,一边在神经脉冲触发时生成连接组数据。
这种方法基于美国研究者尤金·伊基科维奇(Eugene Izhikevich)于2006年提出的研究,可介于当时的电脑速度太慢,这个想法未能广泛适用。然而现在的GPU相比15年前运算速度提高了2000倍,因此根据詹姆斯·奈特所说,它们可以完美符合脉冲神经网络的要求。
事实上,他们的结果不仅不逊色于超级计算机,甚至达到了更快的速度。这个模型模拟一秒钟的生物静息状态只花费了8.4分钟——相比先前超级计算机的模拟结果,如2018年的IBM Blue Gene/Q超级计算机,时间缩短了35%。
奈特解释道,这是因为IBM的机器是由1000个计算节点在一个房间内组成的网络,“不管这个系统有多精巧,在节点之间总存在延迟。因此你越扩展你的模型,它运算的速度越慢。我们的模型则可以比它们快好几个数量级。”
在加快实验速度的目的之上,研究人员更希望这个新方法可以降低计算大型问题的硬件门槛,从而开启新的科学发现。尤其是在大脑模拟领域,模型的尺度很快会达到难以置信的多维度,并且会需要兆兆字节(terabytes,2的40次方比特)的数据量,但仅有少部分研究者能享受到超级计算机的资源。
奈特和他的研究团队的方法,不仅可以让神经科学和AI研究者在自己本地的电脑工作站上模拟脑回路,也可以让学术界之外的人把他们的电脑用于运行大型神经网络。“一位《自然-计算机科学》的审稿人被安排用他们自己的电脑重复这项工作。”奈特说,“所以只要你有一台电脑和一个合适的GPU,你就可以自己检查这篇论文中重复这些实验的方法。”
当然,“过程化连接”是专门适用于模拟大脑的脉冲神经网络,但是奈特很确信,随着类脑机器学习(brain-inspired machine learning)的快速发展,更多AI应用将会出现。无论是绘制哺乳动物的脑活动图,还是开发更好的语音识别工具,脉冲神经网络都在得到越来越多科学家和类似的企业家的关注——现在有了合适的GPU,这些新一代的技术可以直接在人们的卧室里启动了。
原文:https://www.zdnet.com/article/who-needs-a-supercomputer-your-desktop-pc-and-a-gpu-might-be-enough-to-solve-some-of-the-largest-problems/?ftag=TRE-03-10aaa6b&bhid=29483242741741341865845141155055&mid=13255506&cid=2295011393
本文来自微信公众号:神经现实(ID:neureality),作者:Daphne L-Ringuet,译者:Benny Cui