使用基于MI的脑机接口在Google Street View中进行实时导航

本文提出了一种新的中级控制范式，在用户控制和效率之间提供了良好的平衡，适用于已知和未知的场景。本文在GoogleStreetView®中设计了应用程序，为用户提供虚拟沉浸式体验。

至于导航控制模式，低级和高级控制通常是适合不同场景的不同方法。低级控制将每个运动意转换为特定的运动命令，其中一系列命令形成连续运动，即使在未知场景中也能为用户提供完整的控制，尽管这缓慢且效率低下。在高级控制中，人类无法控制个人移动，用户只选择目的地，智能系统负责到达那里，这使得控制快速高效，但仅限于预定义的目的地。除了这两种控制模式外，一些研究还使用适合特定应用的控制方法。

根据2022年的最新评论论文，在2016年至2020年期间，关于使用脑机接口进行导航的文章大致有23篇，大多数基于SSVEP和P300，其中7篇基于SMR。其中有19项考虑了轮椅或机器人控制，4项完全专注于开发沉浸式虚拟导航应用程序。在中，开发了一款具有单向控制的基于VR划船游戏。在中，设计了一个基于P300的BCI来控制虚拟轮椅。迷宫游戏是在中构建的，带有基于SSVEP的单通道BCI，而在中，作者使用MI来控制3D游戏中的前向和向后导航。

在虚拟世界中，基于脑电的导航仍然相当简单，作为更直观的导航控制范式，MI面临着一些具有挑战性的问题，例如解码器性能差和控制命令更少，这阻碍了更高级的VE-MI应用程序的开发。此外，低级和高级控制是两种主要使用的控制方法，它们在VE导航中具有局限性，其中未知场景局限性更加大。低级控制效率低下，当应用于未知场景时，高级控制又无法使用。本文提出了一个具有以下特点的系统来对本文提出的理论进行实验：

在基于谷歌街景的沉浸式环境中导航，用户可以在博物馆欣赏艺术或探索城市。

基于带有干电极的电机像的自定进度BCI，使系统更直观、用户友好、更方便。

一种新的中级控制方法可以在未知的虚拟场景中高效导航，这与错误控制策略相关联，尽管解码精度低下，但仍可以使用该系统。

本文的系统简单结构如1所示。它包括一个离线训练和一个线上训练。在离线训练中，参与者按照显示的说明执行MI任务，脑电数据被记录下来并用于训练解码器，而解码器又用于在线实验中的命令分类。BCI解码器部分讨论了脑电处理管道和解码器架构。在在线测试会话中，解码器实时对三个MI任务进行分类。分类输出由控制逻辑与眼睛眨眼检测输出一起使用，以控制GoogleStreetView®中的导航，该视通过导航界面向参与者提供直接反馈。界面在应用程序界面部分解释，控制逻辑在导航模式部分解释。

信号采集：

实验界面和解码器在MATLAB中编程，记录的脑电数据被流式传输到实验室流层。控制逻辑在解码器之上实现，解码器通过TCP向Googlestreetview®应用程序发送导航命令。由于这些命令涉及按下虚拟箭头，因此控制逻辑可以调整到其他导航应用程序。连接检测和导航应用程序在Python0版本中编程。为了加快解码器的训练，使用了NVIDIARTX2060GPU。

本研究中的解码器基于遵循通用空间模式方法的多频滤波器库。如上所示，数据处理由三个步骤组成，将6通道原始脑电信号带通滤波到20个频率，使用五阶巴特沃思滤波器的频段，导致具有120个通道的输出。从4赫兹开始，每个频段的通路带为4赫兹，与后一个频段重叠2赫兹，直到频率段从40赫兹，有一个4-40赫兹宽带滤波器。每个波段的信号应用于CSP滤波器，该滤波器根据任务最大限度地提高非控制状态和双手弯曲状态或左右捏合的方差。每个CSP滤波器将频带数据从六个通道压缩到两个通道。CSP阶段的输出有40个通道。

接下来，从CSP过滤的信号中提取特征，统计特征是以滑动窗口方式提取的。每个频道都有一个包含200个时间步数和15个跳跃大小的窗口，由于从40个CSP通道中提取了5个功能，最终特征有200个维度，其中F-IM任务的117个时间步骤和L/R-IM任务的67个时间步骤都有特征分数。由此产生的特征时间矩阵由双向长期短期内存网络分类，该网络基于LSTM，LSTM是一种特定类型的循环神经网络，专门用于解决长序列数据时的梯度下降问题。本文使用的BiLSTM通过向前和向后遍历输入数据，比LSTM能够更好地捕获底层上下文。拟议的网络结构如下所示。

在训练期间，使用了Adam优化器，初始学习率为0.0000每次迭代下降0.8倍。为了控制过度拟合数量有限的训练示例的问题，最大迭代设置为50。此外，我们还应用了L2正则化和dropout层。由于本文的重点不是优化解码器，超参数和网络结构的选择是基于在研究开始时的几次测试运行中从数据中获得的简单超参数选择。此外，在在线实验中，首先人工筛选原始脑电信号。如果记录的epoch的最大值超过200μV，则该epoch被视为有效，并且不会进一步分类。此外，在眨眼作为控制信号的状态下，使用一个简单的阈值方法来检测眨眼：当从Fz记录的最大值大于100微伏，即视为眨眼。

为了评估低级控制的精确度，参与者被要求在意大利的乌菲齐美术馆或荷兰国立博物馆上导航，沿着一条特定的路径，并在不同的艺术品停下来，如上所示，深蓝色线条标志着学员需要遵循的任务轨迹，从绿色标记开始，到红旗结束。参与者被要求在白色圆圈位置停下来，并控制旋转到下一个任务点。中层控制，参与者被要求从比利时鲁汶的主要购物街Diestsestraat到达鲁汶市政厅。

GoogleStreetView®应用程序为用户提供了更高程度的沉浸感，典型的BCI-VE导航仅具有特定场景，例如虚拟库、虚拟街道或虚拟公寓。每个系统中的场景都是单调的，无论是室内还是室外。而在GoogleStreetView®中，用户可以选择参观城市、博物馆、购物中心、动物园等。所提出的控制逻辑具有更广泛的适用性。

本文报告了GoogleStreetView®MI-VE应用程序的设计和实现，这是迈向现实生活中BCI的又一步。该系统通过离线和在线实验对21名健康参与者进行了测试，以便在博物馆和城市中导航。实验验证了使用无线干电极脑电帽进行MI-VE导航的可行性，即使参与者的屈曲-休息和左右解码器解码器准确性分别约为80%和60%。

此外，还提出了一种新的中级控制方案，以便用户有更加舒适的导航体验。进行了实验来评估不同的错误控制策略。结果表明，通过使用错误控制策略，可以在很大程度上避免错误，要求对控制持续时间做出妥协。拟议通过眨眼的误差校正恢复了最佳性能，抑制了导航错误的数量，并增加了控制时间。总之，本文展示了系统设计对基于BCI的控制的重要性，并呼吁在开发VE-BCI导航应用和更好的系统控制设计方面做出更多努力。

Nicolas-Alonso,L.,&Gomez-Gil,J..Braincomputerinterfaces,areview.sensors,12,1211-127

Lamti,;Gorce,P.;BenKhelifa,M.;Alimi,WhenmentalfatiguemaybecharacterizedbyEventRelatedPotentialduringvirtualwheelchairnavigation.Comput.MethodsBiomech.Biomed.Eng.2016,19,1749–175[CrossRef][PubMed]

Chen,S.;Chen,Y.;Zaeni,I.;Wu,ASingle-ChannelSSVEP-BasedBCIwithaFuzzyFeatureThresholdAlgorithminaMazeGame.Int.J.FuzzySyst.2017,19,553–56[CrossRef]

Malete,T.;Moruti,K.;Thapelo,T.;Jamisola,R.EEG-basedControlofa3DGameUsing14-channelEmotivEpoc+.InProceedingsofthe2019IEEEInternationalConferenceOnCyberneticsAdditionally,IntelligentSystemsAdditionally,IEEEConferenceOnRobotics,AutomationAdditionally,Mechatronics,Bangkok,Thailand,18–20November2019;pp.463–46

更多阅读

马斯克合伙人“造出”大脑皮层有望进行人体测试

人类“第六感”首次被证实，研究发现人脑具有磁场感应能力

上海交大教授卢策吾深度解读“具身智能”

预见202《2023年中国脑机接口行业全景谱》

这个脑机接口实现每分钟超60个单词的意念说话

脑机接口公司PrecisionNeuroscience完成了B轮4100万美元

哈佛研究人员说：柔性水凝胶电极也许是脑机接口的下一步

人类意识的大脑模式