Sep, 2023

RTFS-Net: 循环时间频率建模 有效的音频视觉语音分离

PDF
TL;DR本文提出了一种新颖的基于时频域的音视频语音分离方法：递归时频分离网络 (RTFS-Net)，通过在短时傅里叶变换产生的复杂时频区间上运用算法来独立地对音频的时间和频率进行建模，并引入了独特的基于注意力的融合技术，以有效地整合音频和视觉信息，并利用声学特征的固有谱特性进行更清晰的分离。RTFS-Net 在仅使用 10% 的参数和 18% 的 MAC 时，超越了先前的最先进方法。这是首个在时频域中超越所有当代时域对应方法的音视频语音分离方法。
audio-visual speech separationtime-frequency domainrecurrent time-frequency separation networkacoustic featuresattention-based fusion technique
发现论文，激发创造
  • TDFNet：一种高效的音频 - 视觉语音分离模型与自顶向下融合

    在本文中，我们提出了一种名为 TDFNet 的音视频语音分离模型，该模型建立在 TDANet 架构基础上，以更高效的方式实现声音和图像网络的融合，使得在音视频领域的语音分离具有更高效和高效的解决方案，并在性能上显著超越了以前的最先进方法 CTCNet。

    Jan, 2024

  • 时域音视频语音分离

    本文介绍了一种新的时间域音视图架构，用于从单声道混合物中提取目标说话人，实验结果表明，相比于仅有声音的 TasNet 和频域音 - 视网络，我们的方法在两个和三个说话人的情况下分别可以提供 3dB + 和 4dB + 的信噪比改进。

    Apr, 2019

  • TasNet: 用于实时单声道语音分离的时域音频分离网络

    本文针对多说话人环境下的鲁棒语音处理，提出了使用时域音频分离网络 (TasNet) 直接对信号进行建模，通过编码器输出估计源掩码、并经过解码器进行合成的方法，该方法适用于实时应用，并能在低功耗情况下完成语音分离任务，是当前最先进的语音分离算法之一。

    Nov, 2017

  • Conv-TasNet: 超越理想的时间 - 频率幅度掩蔽技术，实现语音分离

    该论文介绍了一个名为 Conv-TasNet 的深度学习框架，可用于端到端的语音分离，通过一系列线性编码器和加权函数（掩码），Conv-TasNet 可以显著地提高两个和三个扬声器混合声音的分离能力，并优于多种时间 - 频率掩码方法和经过主观和客观质量评估的最佳时间 - 频率幅度掩码，对于离线和实时语音分离应用都有较小的模型尺寸和更短的最小延迟。

    Sep, 2018

  • 通用音频分离

    该研究使用深度学习模型进行了基于掩蔽的语音信号增强和分离任务的研究，并尝试将其应用到任意类型混音的分离任务中，即通用声音分离。在此过程中，作者比较了不同的分析合成基础和网络结构，其中长短时记忆网络和时延卷积堆栈是采用时间域增强网络（ConvTasNet）的架构，对于后者，作者还提出了一些新的改进方法来进一步提高分离性能。最后，作者的研究表明，短时傅立叶变换（STFT）在通用声音分离方面表现优异，而在语音 / 非语音分离方面，长窗口的 STFT（25-50 毫秒）效果明显好于短窗口（2.5 毫秒），对于可学习的基础来说，短窗口（2.5 毫秒）一直是最佳选择。作者的最佳 方法在语音 / 非语音分离和通用声音分离方面都取得了显著的信号失真比的提高。

    May, 2019

  • 端到端音视频语音识别

    本文提出了一种基于残差网络和双向门控循环单元 (BGRU) 的端到端视听模型，该模型是第一个在大型公开数据集 (LRW) 上学习直接从图像像素和音频波形提取特征并进行语境内单词识别的视听融合模型，并取得了比端到端仅音频模型和基于 MFCC 的模型更好的分类效果。

    Feb, 2018

  • 实时低延迟音乐源分离使用混合的谱图 - TasNet

    通过借鉴 Hybrid Demucs 架构，本文提出了混合谱图时域音频分离网络（HS-TasNet），结合了频谱和波形域的优势，为实时低延迟的音乐应用展现了高效分离的潜力。

    Feb, 2024

  • 音视频语音识别的循环神经网络转录器

    本研究提出了一种基于循环神经网络转录者（RNN-T）架构的大规模视音频语音识别系统，并通过比较语音，视觉和视听系统在两个大词汇测试集上的表现，以及在带噪声和重叠的人工干扰的数据上的表现，突显了视觉模态的贡献。据我们所知，我们的系统显著改善了现有技术在公开数据集 LRS3-TED 上的表现。

    Nov, 2019

  • 基于展开迭代相位重建的端到端语音分离

    本研究提出了一种基于深度学习的端到端方法用于解决单通道无特定说话人的多人语音分离问题，通过利用时间 - 频率的掩蔽，短时傅里叶变换以及它的逆变换嵌入到深层网络中，通过在重建信号上直接计算损失函数来解决之前存在的位移不一致导致的重构误差问题，同时通过多次展开的反相位恢复算法进行训练，使用新的激活函数允许掩蔽值超过 1， 在公开可用的数据集上取得了目前最先进的分离效果。

    Apr, 2018

  • 实时双耳语音分离并保留空间提示

    本文提出了一种基于 TasNet 的多输入多输出的语音分离算法，该算法能够保留声源的空间信息，实现实时修改声学场景，并在不同声学场景中显著改善分离性能并保持位置感知。

    Feb, 2020