Sep, 2023

基于 DenseNet 的使用 EEG 解码听觉空间注意力的方法

PDF
TL;DR通过将原始的 EEG 通道转化为二维空间拓扑图，将 EEG 数据转化为包含时空信息的三维排列，并使用 3D 深度卷积神经网络（DenseNet-3D）提取被关注位置的神经表示的时空特征。结果表明，该方法在常用的 KULeuven（KUL）数据集上以 1 秒决策窗口取得了比最先进方法（XANet 的 90.6%）更高的解码精度（94.4%），我们的工作代码可以在 GitHub 上获取。
发现论文，激发创造
  • TAnet：一种基于脑电信号的短决策窗口听觉空间关注解码的新的时间注意力网络

    该研究提出了一种短决策窗口的新型听觉空间注意力检测模型 TAnet，通过使用多头注意力机制更有效地捕捉脑电信号的时间步间相互作用，并为这些时间步分配相应的权重，进一步提高了听觉空间注意力检测的性能。实验证明，相比于基于 CNN 的方法和最新的 ASAD 方法，在 KUL 数据集中，使用短决策窗口时，TAnet 表现出更好的解码性能，准确率分别为 92.4%（决策窗口为 0.1 秒）、94.9%（0.25 秒）、95.1%（0.3 秒）、95.4%（0.4 秒）和 95.5%（0.5 秒）。作为一种具有短决策窗口的新型 ASAD 模型，TAnet 有望促进脑电控制智能助听器和声音识别系统的设计。

    Jan, 2024

  • DGSD: 动态图自蒸馏用于基于 EEG 的听觉空间注意力检测

    本文提出了一种动态图自蒸馏的听觉注意力检测方法，该方法通过应用动态图卷积神经网络处理非欧几里德特性的脑电图信号，提取与听觉空间注意力相关的关键特征，并利用特征和分类结果指导浅层网络的学习，实验结果表明该方法优于基线方法并且参数数量减少 100 倍。

    Sep, 2023

  • 基于 EEG 的低占用和低延迟听觉注意力检测的 Corticomorphic 混合 CNN-SNN 结构

    本文提出了一种受听觉皮层启发的混合卷积神经网络 - 脉冲神经网络（CNN-SNN）器件，使用 EEG 数据及多说者语音包络成功计算出空间定位，并取得了 91.03% 的高精度，同时相较于传统方法，参数使用降低了 15%，存储空间降低了 57%，并具有较大的应用潜力，特别推荐应用于智能助听器等装置上。

    Jul, 2023

  • 基于浅层深层注意力网络将听觉语音和脑电信号相关联

    本篇论文提出了一种新的 Shallow-Deep Attention-based Network (SDANet) 来对不同刺激下的 EEG 信号进行正确分类，它采用了 Attention-based Correlation Module (ACM) 来全局地发现听觉语音和 EEG 信号之间的关系，并且使用了 Shallow-Deep Similarity Classification Module (SDSCM) 基于浅层和深层学习得到的嵌入来决定分类结果。同时，还使用了多种训练策略和数据增强来提高模型鲁棒性，并在 Auditory EEG challenge 提供的数据集上进行了实验验证，结果表明该模型在匹配 - 不匹配轨迹方面比基线模型有显著的提升。

    Mar, 2023

  • 学习长期时空图以进行活跃说话者检测

    本文提出了 SPELL，一种新的空间时序图学习框架，通过对每个视频帧中的人员建立节点、建立连接来将复杂任务如活跃扬声器检测转化为节点分类任务，实现了对所有节点的长时间上下文推理，显式地利用了空间和时间结构，明显提高了检测性能，且所需的计算和内存资源显著地降低。

    Jul, 2022

  • 基于 Transformer 的脑电解码空时特征学习

    研究提出了一种新的基于注意力机制的 EEG 解码方法，通过注意力变换增强空间特征，采用时间维度的切片进行注意力变换，使用全局平均池化和简单的全连接层对各类 EEG 数据进行分类。该方法在 EEG 的多分类方面达到了最先进水平，并有促进脑机接口的实际应用潜力。

    Jun, 2021

  • 一种高效的编码器 - 解码器体系结构，具有自上而下的注意力，用于语音分离

    本文提出了一种模拟大脑自上而下关注机制的、模型复杂度较低但表现优异的基于编码器 - 解码器的深度神经网络架构 TDANet，并在三个基准数据集上验证其高效性和有效性。

    Sep, 2022

  • 端到端的活跃说话人检测

    该研究提出了一种端到端可训练的网络，结合图神经网络和弱监督策略，用于解决活动说话者检测问题，取得了最优性能。

    Mar, 2022

  • LMDA-Net：通用脑 - 计算机界面典范和可解释性的轻量级多维注意力网络

    提出了一种轻量级多维注意力网络 LMDA-Net，通过整合来自多个维度的特征，在各种 BCI 任务中实现了改进的分类性能，并且通过特定于类别的神经网络特征可解释性算法对其特征进行解释分析，展示出作为各种脑电任务的通用在线解码模型的巨大潜力。

    Mar, 2023

  • 探究长期时间特征，用于音频 - 视觉活动说话者检测

    本文提出了一个名为 TalkNet 的新框架，用于在视觉场景中识别正在讲话的人并取得了比现有系统更好的效果。TalkNet 的特点是考虑了短期和长期的信息，并具有音频和视频编码器、跨模态的音视频交互机制以及自注意力机制。

    Jul, 2021