智能下肢假肢与下肢外骨骼等移动穿戴式康复机器人能够帮助肌肉损伤、神经损伤或下肢截肢患者恢复下肢运动功能。目前,解决基于人与机器人密切交互的控制问题已成为研究这类下肢康复机器人的关键技术问题,其中,人机交互中的人体运动意图识别又是交互控制技术中的核心问题之一。人类与机器人的信息交互可以通过多种方法,这些方法在复杂程度和交互水平上各不相同[1-2]。其中,广泛采用的分层控制结构(高层控制、中层控制和底层控制)能够在无需识别人体运动意图的情况下辅助患者实现基本的运动,但一般只适合结构化环境中的精准性和重复性任务,并不适合非结构化环境,面对复杂环境(如人群中行走)或未构建的任务(如在不规则地形环境中的运动)时,这种控制方法难以实现用户对设备的直接控制,从而导致设备无法拟合人体自然、流畅的运动[3-5]。
当前传感器技术的发展使得人机交互更加有效,人与机器人可以通过各种交互方式协同完成任务。在保证机器人安全性的同时,自然地对人体运动意图作出反应,如何映射人类运动意图是下肢假肢与下肢外骨骼的协作系统所面临的挑战之一。人体运动意图识别的信号主要包括机械信号、生物力学信号和神经信号。其中:机械信号是反映人体运动学和动力学的信号,主要包括速度、关节加速度等信号;生物力学信号是反映人体力学特性的信号,主要包括人机交互力、足底压力等信号;神经信号是反映人体中枢信息的信号,主要包括脑电信号(EEG)和肌电信号(EMG)。机械信号和生物力学信号由于其传感技术成熟、稳定的特点被广泛应用于意图识别,但其仍存在一些局限:a. 机械信号和生物力学信号是人体与外部环境交互的信号,不是人体本身的运动意图,无法准确映射人体运动意图;b. 机械信号和生物力学信号存在滞后性,影响意图识别效果。神经信号的特点却在于:a. 神经信号是中枢神经的直接反映,即能够直接反映人体运动意图;b. 神经信号具有一定的预测性[3]。但是,由于脑电信号需要穿戴脑电帽,且信号易受到干扰,而肌电信号不仅是中枢运动神经的直接反映,能够解码人体运动意图,同时还具有预测性和易获取性的特点,成为映射人体运动意图的主要输入。在假肢与外骨骼设备的人机协作系统中加入肌电信号可以实现更加直接的控制[6-11]。虽然肌电信号在假肢与外骨骼的研究中存在一些局限性,但是,近年来一些科研机构持续开展临床技术(如周围神经手术等)和人机接口(如假肢接收腔等)等肌电接口研究并取得了一定的成果,促进了表面肌电信号直接控制智能下肢假肢与下肢外骨骼的研究[12-14]。肌电信号(EMG)已被广泛应用于人机协作系统中,用于映射人体运动意图。本文重点研究基于肌电信号映射人体下肢运动意图。
基于表面肌电信号映射人体下肢运动意图,即通过解码肌电信号以获得人体下肢的运动信息(如膝关节角度、髋关节力矩等)是人体运动意图映射的研究重点。本文重点综述基于表面肌电信号映射人体下肢运动意图的不同方法,将这些映射方法总结概括为3类:比例肌电法、肌骨模型法和人工智能法。
1 研究现状 1.1 比例肌电法 比例肌电法是较早开展研究以及应用的方法,其主要思想是在量化的肌电信号与下肢运动学和动力学之间建立线性数学关系,其中,量化的肌电信号主要是滤波处理后的肌电信号的幅值。其控制结构如图1所示,控制器调节的参数随肌电信号的大小成比例变化[15-18]。
图 1
图 1 基于比例肌电法直接意图控制结构
Fig. 1 Direct volitional control structure of proportional EMG
根据控制器的增益不同,比例肌电法分为固定增益比例控制和变增益比例控制,典型的相关研究如表1所示。
表 1(Table 1)
表 1 比例肌电法映射下肢运动意图研究特征
Table 1 Characteristics of research on lower limb motion intention mapping of proportional EMG
方法
作者
年份
模式
对象
控制目标
实验设备
固定增益比例控制
Ha等[10]
2010
坐姿
截肢者
膝关节
下肢假肢
Young等[19]
2017
行走
健康人
髋关节
下肢外骨骼
变增益比例控制
Wu等[20]
2011
行走
摆腿
健康人
膝关节
下肢假肢
Hoover等[21]
2012
行走上下楼梯
健康人截肢者
膝关节
下肢假肢
Koller等[22]
2015
行走
健康人
踝关节
下肢外骨骼
Huang等[23]
2016
行走
截肢者
踝关节
下肢假肢
Clites等[24]
2018
上下楼梯
截肢者
踝关节
下肢假肢
Fleming等[25]
2019
站姿
健康人截肢者
踝关节
下肢假肢
Huang等[26]
2019
坐姿
截肢者
踝关节
下肢假肢
Fleming等[27]
2021
站姿
截肢者
踝关节
下肢假肢
Hunt等[28]
2021
站姿、坐姿、下蹲、弓步、平地行走以及切换
截肢者
膝关节
下肢假肢
Fleming等[29]
2022
深蹲
截肢者
踝关节
下肢假肢
表 1 比例肌电法映射下肢运动意图研究特征
Table 1 Characteristics of research on lower limb motion intention mapping of proportional EMG
1.1.1 固定增益比例控制 固定增益比例控制是结合表面肌电信号和运动学信号实现直接控制,一般通过不断实验以寻找最优增益。比例肌电控制器跟踪的角度或力矩与经过处理的肌电信号相关。
Young等[19]通过设计健康受试者的平地行走实验,验证了采用比例肌电控制系统的外骨骼能够帮助用户降低能耗。范德堡大学的Ha等[10]提出将表面肌电信号的二次判别分析(QDA)和主成分分析(PCA)后的特征值直接用于阻抗控制器,通过比较健康受试者和截肢患者在非负重活动(坐)下是否穿戴假肢的膝关节角度(均方根误差分别为6.2 °和5.2 °),证明了比例肌电法直接控制膝关节假肢的可行性。
1.1.2 变增益比例控制 变增益比例控制的底层控制器的增益可以进行调节,分为手动调节和自动调节。前者允许手动增加或减少控制器增益以调节设备驱动,但这种控制方法与自动控制系统理念相违背;后者是控制器增益随底层控制的输入响应,根据表面肌电信号调节阻抗或位置。
Wu等[20]设计了膝关节假肢的“主被动控制系统” ,通过输入表面肌电信号仿生人体关节,其“主动组件”仿生驱动膝关节的动作,“被动组件”仿生膝关节对阻抗的反应,结合2个组件计算膝关节输出扭矩调节阻抗,实现人、机、环境物理交互。密歇根大学的Huang等[23]对踝关节假肢的扭矩和表面肌电信号建立数学关系,同时通过视觉反馈系统手动调节控制器增益。
在Koller等[22]的研究中,双侧踝关节外骨骼采用了自适应增益比例肌电控制方法,经过对8名健康受试者行走实验的验证,证明了这种控制方法能够降低人体代谢成本。Fleming等[27]利用连续的表面肌电信号与有限状态相结合的控制方法实现对假肢踝关节的直接控制,为研究下肢假肢与下肢外骨骼控制提供了新思路。
比例肌电法是将表面肌电信号和控制目标映射为简单的数学关系,易于建模和计算,大多数研究将此方法应用于下肢假肢与下肢外骨骼,其中,部分研究的实验对象是神经或肌肉损伤与截肢患者,这使得此研究更具实际意义和价值。但这种方法无法仿生人体的生物神经控制系统,不能准确地计算多块肌肉联合作用对运动的影响,导致控制精度不高、参数调节困难及鲁棒性差等问题。
1.2 肌骨模型法 肌骨模型是描述运动仿真和理解人体运动控制机制的重要数学模型,该模型可根据肌电信号解算肢体运动学角度和动力学力矩[30]。基于肌骨模型法的直接控制结构如图2所示,典型的相关研究如表2所示。
图 2
图 2 基于肌骨模型法直接意图控制结构
Fig. 2 Direct volitional control structure of musculoskeletal model
表 2(Table 2)
表 2 肌骨模型法映射下肢运动意图研究特征
Table 2 Characteristics of research on lower limb motion intention mapping of musculoskeletal model
作者
国家/地区
年份
控制目标
控制参数
Fleischer等[31]
德国
2008
膝关节
角度、力矩
Hoover等[32]
美国
2011
膝关节
角度、力矩
Karavas等[33]
美国
2013
膝关节
力矩
Kim等[34]
日本
2014
膝关节
力矩
Karavas等[35]
美国
2015
膝关节
力矩
Thatte等[36]
美国
2016
膝关节
角度、力矩
Bahl等[37]
澳大利亚
2019
髋关节
力矩
Barzan等[38]
澳大利亚
2019
膝关节
角度、力矩
Davico等[39]
澳大利亚
2019
髋关节
角度
Cimolato等[40]
意大利
2020
膝关节
力矩
Zhang等[41]
瑞典
2020
踝关节
力矩
Rabe等[42]
美国
2021
髋关节膝关节
力矩
Shah等[43]
美国
2022
踝关节
力矩
表 2 肌骨模型法映射下肢运动意图研究特征
Table 2 Characteristics of research on lower limb motion intention mapping of musculoskeletal model
Karavas等[33,35]通过肌骨模型映射膝关节力矩改进下肢外骨骼控制结构。Lloyd等[44]通过实验验证了肌骨模型计算膝关节力矩(相关系数0.91;残差12 Nm)可行性和可靠性。陈江城等[45]根据肌丝滑移理论优化肌肉的激活模型,优化模型预测膝关节力矩的结果表明,最大绝对误差为(11.0±1.32)Nm,相关系数为0.927±0.042。Kim等[34]提出递归最小二乘算法提取人体腿部肌肉激活率优化模型,Au等[46]利用此方法直接控制踝关节假肢。Cimolato团队和Saxby团队[40,47]分别提出使用深度学习优化肌骨模型的方法,这对于肌骨模型的研究具有重要意义。
虽然肌骨模型法能够描述下肢肌骨生理结构和运动微观力学,但肌肉参数冗余、肌骨几何形状复杂等因素影响计算,考虑到实时计算问题,此方法难以满足下肢假肢与下肢外骨骼对实时性的要求,且这些研究的实验对象大多是健康受试者。设备的控制应紧密结合生物系统控制,这些问题导致该方法应用于智能下肢假肢与下肢外骨骼还有一定的距离[32,36,40,48]。
1.3 人工智能法 人工智能中的特征工程和神经网络算法可以自动、有效地将表面肌电信号联合力学仿生映射运动学与动力学,采用人工智能算法映射下肢运动意图成为该领域的研究亮点[49]。人工智能算法映射下肢运动意图主要包括特征工程与神经网络模型,其控制结构如图3所示,典型的相关研究如表3所示 。
图 3
图 3 基于人工智能直接意图控制结构
Fig. 3 Direct volitional control structure of artificial intelligence
表 3(Table 3)
表 3 人工智能算法映射下肢运动意图研究特征
Table 3 Characteristics of research on lower limb motion intention mapping of artificial intelligence
方法
作者
年份
模式
控制目标
特征输入
特征工程
Chandrapal等[50]
2012
等速运动等长运动
膝关节
表面肌电信号
Xiong等[51]
2019
行走
膝关节踝关节
髋关节运动信号膝关节运动信号踝关节运动信号表面肌电信号
Chen等[52]
2021
行走
髋关节膝关节踝关节
表面肌电信号
神经网络
Zhang等[53]
2012
骑行
髋关节膝关节踝关节
表面肌电信号
Su等[54]
2017
等速运动
踝关节
踝关节运动信号表面肌电信号
Keles等[55]
2020
行走
踝关节
表面肌电信号
Zhang等[41]
2020
行走等速运动
踝关节
踝关节运动信号表面肌电信号
Siu等[56]
2020
行走慢跑冲刺跑
踝关节
表面肌电信号
Coker等[57]
2021
行走
膝关节
表面肌电信号
Kim等[58]
2021
站姿
踝关节
表面肌电信号
Zabre-Gonzalez等[59]
2021
行走上下楼梯以及切换
踝关节
表面肌电信号
Caulcrick等[60]
2021
等长运动
膝关节
表面肌电信号
Zangene等[61]
2021
下蹲
膝关节踝关节
表面肌电信号
Li等[62]
2022
行走
髋关节膝关节
表面肌电信号
Foroutannia等[63]
2022
行走
髋关节
表面肌电信号
表 3 人工智能算法映射下肢运动意图研究特征
Table 3 Characteristics of research on lower limb motion intention mapping of artificial intelligence
1.3.1 特征工程 针对神经网络的输入过多导致的特征冗余和过拟合等问题,对神经网络的输入进行特征优化,主要方法包括主成分分析、归一化和稀疏编码等。Xiong等[51]使用稀疏算法优化力矩特征,并基于神经网路构建模型,根据优化的特征预测膝关节力矩和踝关节力矩,结果表明,归一化均方根误差均小于7.98%,相关系数均高于0.9633。Chandrapal团队[50]通过等长和等速运动实验比较两种归一化方法(以膝关节45 °时最大值归一化;以最大值归一化每个膝关节角度表面肌电信号和力矩),等长运动最小误差可达到10.461%,等速运动最小误差达到20%。
1.3.2 神经网络 人工神经网络是模拟人脑的神经元网络的一种非线性模型,前馈网络和记忆网络是常用的映射运动意图的模型。
针对踝关节力矩的连续估计,Zhang等[41]分别构建肌肉骨骼模型和前馈神经网络模型,根据不同步速下的肌电信号预测踝关节力矩,结果表明,肌骨模型与神经网络预测结果的误差接近(如肌骨模型0.15;神经网络0.10),验证了神经网络模型代替肌骨模型将表面肌电图信号映射到关节力矩的可行性。
Zabre-Gonzalez等[59]使用基于外源输入的非线性自回归神经网络(NARX)建立胫骨前肌、腓骨内侧肌表面肌电信号与踝关节角度和力矩的之间的模型,通过平地行走、上下楼梯,以及路况切换实验验证模型的有效性,结果表明,均方根误差均小于1°和0.04 Nm/kg,相关系数高于0.99。这项研究有效地证明了表面肌电直接意图控制能够提高人、机、环境物理交互的协调性,有助于实现自主控制和自适应控制。
中科院的Zhang等[53]通过实验对比健康受试者和脊髓损伤受试者,结果表明,健康受试者和脊髓损伤受试者均方根误差分别小于9 °和6 °,证明BP神经网络预测脊髓损伤患者的髋、膝、踝关节角度的可行性。
Caulcrick等[60]比较了线性回归、多项式回归和神经网络回归膝关节力矩。经过在坐姿下穿戴膝关节外骨骼预测膝关节扭矩的实验得到,神经网络预测结果的相关系数为(97.6+0.8)%,高于其他方法(94.1;96.0)。结果表明,针对肌电信号和膝关节力矩的映射关系,基于神经网络的建模方法更加可靠。
以上这些研究证明了应用人工智能算法回归下肢关节角度与力矩的可行性和可靠性。但是,由于表面肌电信号具有随机性和超前性等特性,导致基于肌电信号的下肢假肢和下肢外骨骼的直接意图控制需要更进一步的研究。例如,针对表面肌电信号提前于相应动作发生的特性,Coker等[57]以表面肌电信号为输入训练神经网络(ANN)预测不同时间间隔(表面肌电信号和相应动作发生的时间间隔)的膝关节角度,结果表明:时间间隔越短,准确度越高(50 ms均方根误差为0.68 °;200 ms均方根误差为4.16 °);样本越多,准确度越高。
2 讨论与展望 为了更清晰地对比3种下肢运动意图映射方法,本文分析总结了这些方法各自的特点,如表4所示。
表 4(Table 4)
表 4 利用不同方法映射下肢运动意图特点比较
Table 4 Characteristics of lower limb motion intention mapping by different methods
方法特点
比例肌电法
肌骨模型法
人工智能法
优点
模型计算简单,实时性好
可以体现微观运动特性
模型复杂,映射更精确;利于信息融合
局限性
映射精度较低,无法适应复杂环境
计算复杂,实时性差
需要大量样本,实时性差
表 4 利用不同方法映射下肢运动意图特点比较
Table 4 Characteristics of lower limb motion intention mapping by different methods
2.1 现有研究存在的问题 针对不同方法研究特点,现有的研究仍存在以下问题:
a. 模型存在缺陷。比例肌电法和人工智能法计算相对简单快速,但其无法体现人体生理结构和运动特性,而肌骨模型则相反。很多情况下,智能下肢假肢与下肢外骨骼需要实时计算,庞大的计算量和复杂的模型都会增加设备硬件负担,同时相对简单的模型则对底层控制要求更高。虽然人工智能算法具有模型相对复杂、计算相对简单的特点,但需要大量数据对其进行训练,应对未知任务和复杂环境的风险更大。目前还没有提出一种既能描述生理运动特性,同时又能够提高计算效率的模型。
b. 实验对象不理想。智能下肢假肢与下肢外骨骼的目标人群是截肢和肌肉或神经损伤患者,患者的肌肉特性不同于健康人,映射运动意图直接控制设备需要从宏观考虑完整控制结构。目前,智能下肢假肢与下肢外骨骼的实验对象主要为健康人,临床应用性不高。
c. 实验缺乏对比。相同模型对健康人和患者映射运动意图的有效性需要进行实验比较,对于智能下肢假肢或下肢外骨骼的同一个模型需要对健康人和患者的实验结果进行量化分析(如能量消耗、精确度等)。目前只有少数的研究进行了对比分析,并证明其方法的可行性。
d. 实验环境与任务简单。目前大多数研究映射运动意图的实验任务简单(行走或站立)、单一,且实验环境基本是在实验室条件下,无法适应未知的环境和复杂的任务。
2.2 展 望 针对肌电直接控制智能下肢假肢与下肢外骨骼的研究总结了相关下肢运动意图映射方法。虽然这些方法已经在相关实验中成功映射了人体下肢运动,但对于智能下肢假肢与下肢外骨骼的目标人群,现有的研究和实验仍存在很多不足,针对这些问题,未来的研究应关注以下几个方面:
a. 信息融合。肌电信号存在随机性、易干扰等明显缺陷,虽然现有的研究已开始将反映生物神经的肌电信号和更加稳定的信号(如角速度、图像等)相结合,但该领域的研究仍处于初步阶段,对于信息融合,如何筛选输入信息,如何处理并融合信息等问题都有待研究。加强信息融合,增强输入信息的稳定性和可靠性,解码更多运动信息是未来的发展方向。
b. 患者特性。由于截肢者、神经和肌肉损伤患者的肌肉特性不同于健康人,需要更加关注实际患者及其特殊肌群对智能下肢假肢与下肢外骨骼肌电控制系统的影响,克服截肢原因(如外伤或血管障碍等)、残肢长度和形状以及随后的肌肉萎缩对肌电信号的影响。
c. 人工智能。在目前的研究中,使用人工智能算法可以准确映射下肢运动,但是,这种方法并不能体现其生物特性,而且,这种黑箱模型基本无法达到100%的正确率,降低了智能下肢假肢或外骨骼的可靠性和稳定性。未来需要依靠人工智能算法的强计算、快速建模等特点,结合比例肌电和肌骨模型构造新模型,深入挖掘肌电信号、机械信号等输入与人体运动学、动力学相关信息以控制设备。
d. 复杂环境。目前的研究大多是基于实验室环境,映射运动意图受到特定运动模型的限制,但实际环境更为复杂。如何应对复杂环境下的不确定步态,如何解决重新穿戴假肢肌电信号偏差,以及下肢假肢与下肢外骨骼机器人能否适应复杂地理环境(如复杂地形)等问题的研究还鲜有涉及,但这对人体下肢运动意图映射具有重要意义。
3 结束语 介绍了表面肌电信号映射下肢运动意图的研究方法,同时深入讨论了这些方法直接控制智能下肢假肢与下肢外骨骼的研究特点以及未来研究的发展方向。目前,虽然对智能下肢假肢与下肢外骨骼的控制研究已取得长足的发展,但在基于肌电映射下肢运动意图直接控制机器人方面还有很多问题没有解决,很多空白点值得进一步深入探讨,尤其基于人工智能的探索尚处于初步研究阶段,这一领域未来的发展前景非常广阔。