图 | 白手是电脑生产动作，病人试图用脑机跟着做一样的动作（来源：受访者）
这不是简单的机械手，而是深度学习和机械臂硬件的结合。近年来，深度学习在分析、解释和解码生物医学数据方面的应用正在稳步发展。在迅速发展的脑机接口和神经假体领域，基于深度学习的神经解码器已成为创造下一代灵巧、易操作的神经假体的最被看好的方法。
图 |（来源：受访者）
简单来说，神经解码器就是一种能够识别大脑神经活动的人造装置。对于因神经系统受损而无法正常控制肢体的人来说，它可以解码大脑活动，传递大脑向肢体发出的控制指令，从而实现对配套神经假肢的操控。
相比普通假肢，神经假肢可以由 “意念” 控制，也就是直接接受大脑发出的指令，显然更加灵活且符合人类的直觉。
随着人工智能和深度学习技术的发展，科学家开始尝试将其应用在各个领域，假肢控制也不例外，以主流 CNN 和 RNN 等神经网络为基础的算法都能用来驱动神经解码器。
图 |（来源：受访者）
不过，高性能深度学习模型对硬件的运算能力提出了很高的要求，而且通常依赖 GPU 以支撑其大规模的并行运算。这不仅对缩小硬件尺寸和降低功耗提出了挑战，更是限制了假肢及其神经解码系统的便携性和易用性，使其难以应用在临床上。
为了解决这一问题，美国明尼苏达大学杨知教授的研究团队开发出本次便携式独立神经假肢系统，主要部件包括基于深度学习的神经解码器，英伟达 Jetson 边缘计算套件，Neuronix 神经接口微芯片，连接神经纤维的束内微电极阵列，定制的 PCB 电路板和 i-Limb 机械手。
图 | 机械手的实际佩戴效果（来源：受访者）
多年成果融为一体
除了英伟达 Jetson 套件，电极阵列和机械手部分组件，剩下的成果或是最新努力，或是研究团队成员此前完成的成果，一步步积累和融合成了今天的样子。研究成果以预印本的形式发表于 Arxiv 上。
Scorpius 系统由 Neuronix 神经芯片，电极连接器，稳压器和 Microsemi 的现场可编程门阵列（FPGA）等组件构成。每套系统包含八个记录信道，并且配有频率整形放大器和高精度模数转换器，可以捕捉极其微弱的神经信号并排除干扰信号。如果需要更多的通道数量，还可以部署多个设备。
图 | 团队所开发的神经芯片组（来源：受访者）
最终，组合而成的机械手可以套在残臂上，参与测试的残障人士成功实现了用意念控制机械手指，做出握拳、拿捏、指向、摇滚等手势，系统也可以准确识别其控制的是哪根手指。
此外，给正常人的小臂植入电极后，机械手也可以捕捉神经控制信号，实现隔空遥控。
“据我们所知，这是最先进的、通过将基于深度学习的神经解码器和便携式计算平台结合，从而实现神经假肢。” 研究人员在论文中表示。
为了实现对机械手的操控，研究人员必须先捕获并解码大脑传递出的神经信号。
杨知告诉 DeepTech，将深度学习和硬件结合，并将其应用于疾病治疗，是本次成果的亮点。其主要涉及的技术是神经解码，这在古代叫做 “读心术”，即搞清楚一个人的内心想法。人类的思考和行动是基于大量的神经活动。这些活动会在体内留下痕迹，比如产生微弱的电信号。这时就可用到深度学习的优势，其优点在于可根据大量的电信号，来产生类似黑盒子的计算模型，从而映射出信号和结果之间的关系。
硬件方面，他们使用了一套名为 Scorpius（天蝎座）的神经接口系统，是论文作者 Anh Tuan Nguyen 和 Jian Xu 等人在 2020 年发表的研究成果。
图 | 机械手原型机和各组成部分（来源：受访者）
该系统随后会将捕捉到的原始神经数据实时传输给 Jetson Nano 套件。
Jetson 平台是英伟达专为边缘计算开发的 AI 平台，其中的 Nano 系列套件自带 Tegra X1 片上系统（SoC），配有 ARM A57 四核 CPU 和 128 核英伟达 Maxwell GPU。
经过研究人员的定制，该套件可以运行经过训练的深度学习模型，负责将神经信号实时翻译成对应的大脑指令，例如要控制哪根手指，做出什么样的动作。它能在 10W 和 5W 功率模式下分别运行 2 小时和 4 小时。
机械手本身使用了 Össur 公司的 i-Limb 产品，不过原装驱动被研究人员替换成了自己开发的手部控制单元，可以直接接收深度学习模型发出的指令并操控手指内的电机。
图 | 三个数据处理线程（A）与深度学习电机解码器架构（B）（来源：受访者）
在数据处理方面，研究人员用 Python 实现了三个线程，分别用于数据获取、数据预处理和电机解码。
数据获取线程负责从两个或更多的 Scorpius 设备上获取数，并且将它们与对应的信道对齐。对齐后的神经数据会被输入预处理线程，经过过滤和降采样后，再提取其中包含的特征。
图 | （来源：受访者）
研究人员一共定义了 14 种特征函数，提取出的特征数据会被放入 LIFO（后进先出）序列中，所有数据都会被实时传输到电机解码线程中。处理不了或来不及处理的神经数据会被直接丢弃，以确保解码线程能够始终接收到最新的数据。
该设备最多支持同时部署五个模型，每个负责一根或更多根手指动作的解码。在实验中，所有模型都有一样的架构，但使用了不同的数据集进行训练，实现了对特定手指及其动作的优化。
最终的解码结果会输出到手部控制器上，驱动手指上的电机执行相应的指令。
手势识别准确率超 95%
在实际测试中，研究团队分别对残障人士和正常人进行了测试。杨知告诉 DeepTech，本次论文中展示的受试者，在 14 年前的一次事故中，失去了左手大拇指以外的四个手指，接下来的 8 年中他忍受着长期的神经痛，夜里经常会被痛醒，直到把整个左小臂截肢，疼痛才得到缓解。3 年前，他加入本次研究小组的测试项目，杨知评价他 “又无私又勇敢”。
植入设备后，他可以自由控制义肢，包括其各个手指，同时可对义肢产生感知，就好像变成了身体的一部分。。
这位受试者告诉杨知：“这个技术如果变成产品，就会有很多栩栩如生的功能，能让他做各种不同的日常工作，就好像使用自己另一只完好的手一样。”
图 | 针对残障人（A 和 B）和健全人（C 和 D）的实验（来源：受访者）
结果现实，在只使用一个模型的情况下，10W 功率配置的机械手延迟不到 50ms，随着模型部署数量提升，延迟最多增加到 120ms 左右 —— 这个程度的延迟是可以感受到的，但对手指的可控程度和灵活性不会有太大影响。
如果降低到 5W 功率，其最大延迟会增加约一倍至 220ms 左右，考虑到设备的尺寸、功耗和成本，这个响应速度也是可以接受的。
在识别准确率方面，深度学习模型的准确率可以稳定在 95%-99% 之间，其中识别健全人五指活动的准确率均超过 97%，而识别残障人士五指活动的准确率也超过 95%，表现亮眼。
图 | 手势识别准确率：健全人（红）残障人（绿）（来源：受访者）
“我们发现残障人士的食指识别准确率偏低，这是由较低的神经信号噪声比导致的，” 研究人员表示，“在实际操作中，我们可以引入更多的训练或者训练一个模型专门控制食指。”
为了测试机械手在日常生活中的表现，研究团队让一名残障人士在多个场景下操作该设备。结果显示它的表现并未受到 Wi-Fi、手机和电子设备的干扰，可以持续稳定的工作。
图 | 在实际应用场景中测试机械手（来源：受访者）
“我觉得如果这个设备经过更好地调试，以一个消费级产品问世时，它将会具备更多的功能，能（让我）在未经思考的情况下完成许多日常操作，” 测试者表示，“当我想够到和拿起东西的时候，我也不需要刻意地去操作它，就像我的真手一样。我相信它能实现这一点。”
当然，目前的模型还存在一些不足，在判断一些手势时容易混淆，比如握拳 VS 竖起大拇指。
未来，研究团队计划进一步优化软件和完善硬件，包括优化神经网络模型，采用真正的多线程来避开 Python 的全局解释器锁，强化 Jetson 的深度学习推理能力，采用在线电机解码优化等等，从而在便携的基础上实现更低延迟、更高精度的实时控制。
未来投入应用后，病人使用就像配眼镜一样，验光之后配置度数合适的镜片和镜架。同样，给病人配置合适的机械臂和神经解码器，也是一样的思路。
目前，团队已成立公司对该设备进行成果转化，首先将用于治疗残疾人的疼痛。杨知表示，该神经解码技术已帮助参与实验的受试者们，减轻或治愈他（她）们的疼痛。
用患者的话说，”有了这个系统，我们可以看到我的痛苦是可以量化的，并且可以做些什么……这是对生活的巨大改善……它几乎无可估量地改善了我的生活质量，达1000％。” 杨知还表示神经解码技术还可以用于治疗更多的疾病。一旦通过美国FDA和中国相关审批，该技术将产生一个新的医疗器械市场，涵盖很多现在不能被药物和手术治愈的疾病。