May, 2023

基于时间域的大脑辅助言语增强网络：在多说话人条件下使用卷积交叉注意力

PDF
TL;DR本研究提出了一种基于脑电图信号的时域单通道语音增强网络（BASEN），用于从混响环境中提取目标讲话者的语音，并且实验结果显示，该方法在多项评估指标上表现优于现有方法。
single-channel speech enhancementbrain-assisted se networkelectroencephalography signalstime-domain audio separation networkmulti-layer cross attention module
发现论文，激发创造
  • 基于 EEG 的低占用和低延迟听觉注意力检测的 Corticomorphic 混合 CNN-SNN 结构

    本文提出了一种受听觉皮层启发的混合卷积神经网络 - 脉冲神经网络（CNN-SNN）器件，使用 EEG 数据及多说者语音包络成功计算出空间定位，并取得了 91.03% 的高精度，同时相较于传统方法，参数使用降低了 15%，存储空间降低了 57%，并具有较大的应用潜力，特别推荐应用于智能助听器等装置上。

    Jul, 2023

  • 深度音视频语音增强对话

    本文提出了一种深度视听语音增强网络方法，借助于对应视频中的嘴唇信息，能够在多人同时说话的情境下，从语音信号中分离出个人的发言，该方法适用于训练时未涉及到的说话者，并在不受限制的环境下，展现了出色的定量和定性效果。

    Apr, 2018

  • 增强神经波束形成器结合空间信息用于目标语音提取

    本文提出了一种利用空间信息增强神经波束形成器性能的目标语音提取网络，该网络采用 UNet-TCN 结构模拟输入特征，并通过引入多头交叉注意力机制来利用阵列接收到的空间信息，实现了更合理的目标掩蔽估计网络和基于空间信息的交叉注意力机制，有效提高语音分离性能。

    Jun, 2023

  • 基于注意力神经网络的目标说话人分离

    本文提出了一种基于注意力机制的神经网络（Atss-Net）来进行基于深度学习的目标说话人分离和语音增强，实验结果表明 Atss-Net 在频谱图领域比 CNN-LSTM 架构更有效，并且在语音增强方面也具有良好的性能。

    May, 2020

  • 面向 EEG 情感识别的时间感知混合注意力卷积及 Transformer 网络 (MACTN)

    提出了一种基于分层混合模型的情感识别方法 MACTN，该模型通过卷积神经网络 (CNN) 提取局部情感特征，通过 transformer 集成稀疏的全局情感特征，并利用通道注意机制识别最相关的通道，在实验中取得超过其他现有方法的分类准确度和 F1 分数，早期版本已赢得 2022 年世界机器人大赛情感 BCI 竞赛的决赛冠军。

    May, 2023

  • 基于浅层深层注意力网络将听觉语音和脑电信号相关联

    本篇论文提出了一种新的 Shallow-Deep Attention-based Network (SDANet) 来对不同刺激下的 EEG 信号进行正确分类，它采用了 Attention-based Correlation Module (ACM) 来全局地发现听觉语音和 EEG 信号之间的关系，并且使用了 Shallow-Deep Similarity Classification Module (SDSCM) 基于浅层和深层学习得到的嵌入来决定分类结果。同时，还使用了多种训练策略和数据增强来提高模型鲁棒性，并在 Auditory EEG challenge 提供的数据集上进行了实验验证，结果表明该模型在匹配 - 不匹配轨迹方面比基线模型有显著的提升。

    Mar, 2023

  • TAnet：一种基于脑电信号的短决策窗口听觉空间关注解码的新的时间注意力网络

    该研究提出了一种短决策窗口的新型听觉空间注意力检测模型 TAnet，通过使用多头注意力机制更有效地捕捉脑电信号的时间步间相互作用，并为这些时间步分配相应的权重，进一步提高了听觉空间注意力检测的性能。实验证明，相比于基于 CNN 的方法和最新的 ASAD 方法，在 KUL 数据集中，使用短决策窗口时，TAnet 表现出更好的解码性能，准确率分别为 92.4%（决策窗口为 0.1 秒）、94.9%（0.25 秒）、95.1%（0.3 秒）、95.4%（0.4 秒）和 95.5%（0.5 秒）。作为一种具有短决策窗口的新型 ASAD 模型，TAnet 有望促进脑电控制智能助听器和声音识别系统的设计。

    Jan, 2024

  • 多模态深度卷积神经网络实现音视频语音增强

    提出了一种音视频深度卷积神经网络（AVDCNN）语音增强模型，该模型在音频处理方面结合了视觉信息，并采用多任务学习框架进行重建音频和视觉信号。实验表明，该模型在语音增强方面表现显著优异，证明了整合视觉信息的有效性，并且优于现有的音频 - 视觉增强模型。

    Sep, 2017

  • VCSE: 时域视觉语境说话人提取网络

    本文提出了一种包含视觉和自我学习语境线索的两阶段时域视觉 —— 语境扬声器提取网络 VCSE, 在 LRS3 数据库上表现比其他最先进的基线一致优秀

    Oct, 2022

  • 使用 U-Net 脉冲神经网络的单信道语音增强

    本文提出了一种基于脉冲神经网络（SNN）和 U-Net 架构的能量高效语音增强模型，该模型在处理带有时间维度的数据（例如语音）和应用于资源有限设备上具有良好的性能，实验结果表明所提出的 SNN 模型在能量高效性上优于 Intel Neuromorphic Deep Noise Suppression Challenge（Intel N-DNS Challenge）基准解决方案，并实现了与等效 ANN 模型相当的性能。

    Jul, 2023