本文提出了用户驱动的智能界面的新概念，它应用于各种领域中，如残疾研究，教育，家庭护理，医疗保健等，通过脑机交互等方式，利用多模态增强现实技术，以及通过机器学习等方法，分类实时神经物理反应的即时反馈，以克服当前可用用户界面的局限性，特别是针对功能残疾人群。即使在当前状态下，结合增强现实和脑机交互的接口也能提供高度适应性和个性化的服务。

Apr, 2017

提出了一个简单的自适应集成分类系统来处理 SSVEP-BCI-AR 应用中的个体间变异性，并评估了在带有头部旋转的应用中我们的集成算法的性能。在多个受试者上进行的测试在 PC 上达到了平均 80% 的准确率，并且在 HoloLens AR 耳机上达到了 77% 的准确率，均超过了前期研究中采用个体分类器和头部运动的结果。此外，我们的视觉刺激时间相对较短，为 5 秒，并表明我们的集成分类方法在 SSVEP-BCI 中表现优于个体分类器。

Aug, 2023

通过提供 VRBiom 数据集，该研究论文介绍了一种针对生物特征应用的新型虚拟现实头戴设备数据集，包含用于虹膜和周眼识别等生物特征应用的非传统视角的短视频，使得在硬件发展和生物特征应用研究方面取得进展成为可能。

Jul, 2024

SLIMBRAIN 是一个实时获取和处理增强现实系统，适用于从高光谱信息中分类和显示脑肿瘤组织。该系统在肿瘤切除手术过程中以每秒 14 帧的速度捕获和处理高光谱图像，同时实现癌组织的检测和定位。这种可视化表示与 LiDAR 相机捕捉的 RGB 点云重叠，实现了在捕捉和处理过程中对场景的自然导航，提高了高光谱技术对肿瘤定位的可视化和效果。整个系统已在真实脑肿瘤切除手术中得到验证。

Mar, 2024

本文提出了一种基于深度学习的辅助系统，旨在提高视障人士的环境感知体验，通过 RGBD 数据和建立的语义地图预测行走指令、进行障碍物避让，在多种情境下得到了很好的实验效果并有效提高了视障人士的环境感知体验。

Aug, 2019

智能眼镜的增强现实技术提供了多种传感器的使用，用于面部重建，通过在脸部的颞部放置惯性测量单元（IMU）来捕捉面部肌肉运动引起的皮肤变形，使用基于变压器的深度学习模型实时估计行为单位（AU）的强度，进而进行面部重建。

May, 2024

通过引入脑 - 人工智能接口（BAI）作为一种新的脑 - 计算机接口（BCI）类别，我们可以让患有认知障碍的个体也能受益于 BCI 技术，BAI 使用人工智能以取代传统 BCI 所依赖的完整认知功能，通过提供高层次意图来完成复杂任务，同时由预先训练的 AI 代理处理底层细节。本研究介绍了 BAI 的整体概念，并通过基于 EEG 的对话 BAI 展示了其潜力，特别是在一个模拟电话对话实验中，该对话 BAI 实现了复杂的交流，无需生成语言。因此，我们的工作首次展示了语音神经假肢在现实场景中使用非侵入式技术实现流畅交流的能力。

Feb, 2024

该论文介绍了一种方法，通过在计算机上训练 CNN 模型并将优化的权重矩阵传输到 AR 头戴设备，以在 AR 头戴设备上部署 CNN 模型。该方法将图像数据和 CNN 层转换为适合 AR 平台的一维格式，在 HoloLens AR 头戴设备上使用 PyTorch 训练 LeNet-5 CNN 模型并部署，结果表明模型的准确率约为 98%，与在计算机上的表现相似。这种 CNN 和 AR 的结合使得 AR 头戴设备能够实时进行图像处理，实现了人工智能模型与人的交互。

Jun, 2024

通过使用具有视觉和上下文输入的多模态模型 VISION，我们成功预测了人类大脑对自然图像的功能性磁共振成像（fMRI）扫描反应，其准确度超过了现有技术性能 45％，并揭示了不同视觉区域的表征偏差，生成了可实验检验的假设，并形成了可解释的指标将这些假设与皮层功能相关联，为设计和实现视觉皮层功能分析带来了降低成本和时间负担的可能性。通过计算模型的进化，我们的工作表明可能揭示出对视觉皮层的基本理解，并提供可靠的脑机接口的可行方法。

Sep, 2023

该研究提出了一种可穿戴辅助设备，可以帮助视障人士在陌生环境中安全快速地导航，并通过消音信号为用户提供正确的行走方向，同时通过深度学习技术对周围环境中的障碍进行分类和识别，有效地提高了用户的感知能力。

Apr, 2019