Feb, 2019

FurcaNeXt: 动态门控扩张时间卷积网络的端到端单声道语音分离

PDF
TL;DR本文提出了几种深度卷积网络，包括多尺度动态加权门控扩展金字塔网络（FurcaPy）、带有 Intra-Parallel 卷积组件的门控 TCN（FurcaPa）、共享权重的多尺度门控 TCN（FurcaSh）以及带有门控差异卷积分量的扩张 TCN（FurcaSu）并进行了直接最优化 utterance 级别的信号失真比（SDR）的训练。在公共 WSJ0-2mix 数据语料库上进行的实验表明，这些网络提高了 18.4dB 的 SDR，显示出对演讲者分离任务性能的改进。
发现论文，激发创造
  • 基于可变形时间卷积神经网络的单声道嘈杂混响语音分离

    本研究提出了一种新的方法，使用可变形卷积解决了语音分离领域中存在固定跨度的问题，通过应用此方法，研究人员获得了优秀的性能。

    Oct, 2022

  • Dual-Path Transformer Network: 直接上下文感知建模的端到端单声道语音分离

    本研究提出一种双路径变换网络（DPTNet）进行端到端语音分离，引入了直接上下文感知建模。改进的变换器使元素之间可以直接交互，并且双路径结构使得模型效率更高，实验结果表明，我们的方法优于当前最先进的模型（公共 WSj0-2mix 数据集上的 20.6 dB SDR）。

    Jul, 2020

  • 一种基于递归融合扩张卷积和信道注意力的高效语音分离网络

    本文介绍了一种高效的语音分离神经网络，采用了扩张卷积、多尺度融合和通道注意力等多种方法，可以克服卷积网络的有限感受野和变换器网络的高计算成本问题，实现局部和全局特征的学习，并通过通道的注意力权重学习关键的特征来提高网络的表达能力和鲁棒性，实验结果表明，该模型在性能和计算效率之间取得了不错的平衡，是目前实际应用的有希望的选择。

    Jun, 2023

  • Conv-TasNet: 超越理想的时间 - 频率幅度掩蔽技术，实现语音分离

    该论文介绍了一个名为 Conv-TasNet 的深度学习框架，可用于端到端的语音分离，通过一系列线性编码器和加权函数（掩码），Conv-TasNet 可以显著地提高两个和三个扬声器混合声音的分离能力，并优于多种时间 - 频率掩码方法和经过主观和客观质量评估的最佳时间 - 频率幅度掩码，对于离线和实时语音分离应用都有较小的模型尺寸和更短的最小延迟。

    Sep, 2018

  • 面向鲁棒语音识别的语音增强和噪音感知网络

    提出了一个基于噪声感知的训练框架，将增强语音引入到声学模型的多条件训练中，通过两个级联的神经结构来优化增强语音和语音识别，并取得了较好的实验结果。

    Mar, 2022

  • 时空神经滤波器：方向感知的端对端多通道目标语音分离

    本文提出了一种时空神经滤波器，通过方向信息的辅助作用，从具有混响的多人语音混合物中直接估计目标语音波形，以提高目标和干扰源之间的时域、频域和空域可辨识度，并设计了一种全卷积自动编码器框架用于快速和端到端的语音分离处理。

    Jan, 2020

  • 会议在线发言人分化的语音分离指导

    我们介绍了一种新的基于语音分离引导的在线发言人分化方案，适用于持续变动的说话人数量的长时间会议录音。

    Jan, 2024

  • NAC-TCN: 基于因果稀疏邻域注意力的时序卷积网络用于情感理解

    视频情感识别是通过一系列方法如 GRUs、LSTMs、自注意力机制、Transformers 和 TCNs 改善了基于视频情感识别，然而这些方法存在内存使用高、操作量大或梯度下降不良的问题。我们提出了一种称为邻域注意力与卷积 TCN（NAC-TCN）的方法，它结合了注意力和时序卷积网络的优点，并确保理解因果关系，从而减少计算和内存成本。我们的模型在标准的情感识别数据集上比 TCNs、TCAN、LSTMs 和 GRUs 取得了相当好或最先进的性能，并且需要较少的参数。我们在线发布了我们的代码，以便其他项目能够轻松复现和使用。

    Dec, 2023

  • TDFNet：一种高效的音频 - 视觉语音分离模型与自顶向下融合

    在本文中，我们提出了一种名为 TDFNet 的音视频语音分离模型，该模型建立在 TDANet 架构基础上，以更高效的方式实现声音和图像网络的融合，使得在音视频领域的语音分离具有更高效和高效的解决方案，并在性能上显著超越了以前的最先进方法 CTCNet。

    Jan, 2024

  • 使用全卷积网络进行语音去混响

    本文利用全卷积网络 (FCN) 来处理语音信号的混响问题，提出了用 U-Net 和 GAN 算法来处理时频短时傅里叶变换 (STFT) 表示的语音信号。通过与其他算法的比较，结果表明本文提出的方法在大多数情况下表现更好。

    Mar, 2018