Aug, 2023

通过唇语子词相关性进行视觉预训练和交叉模态融合编码的提高音频视觉语音识别

PDF
TL;DR本文提出了两种新技术来改善音视频语音识别，通过利用口型和音节级次字单元之间的相关性来建立良好的帧级音节边界并实现准确定位，以及利用音频引导的跨模态融合编码器神经网络来充分利用模态互补性。实验结果表明，使用相对较少的训练数据，该系统比复杂的前端和后端现有系统取得更好的性能。
audio-visual speech recognitionpre-training and fine-tuning training frameworklip shapessyllable-level subword unitscross-modal fusion
发现论文，激发创造
  • 混合 CTC/RNN-T 快速 Conformer 的多语言视听语音识别

    通过引入多语种音视频语音识别模型和快速调整器模型，提高了模型性能和音频噪音稳健性。在多语种数据集上进行训练，达到了领先水平，并在 MuAViC 基准测试中显著减少了平均识别错误率。

    Mar, 2024

  • MLCA-AVSR：基于多层交叉注意力融合的音视频语音识别

    提出了一种多层交叉注意力融合的视听语音识别方法，通过在不同的音频 / 视觉编码器层级融合各种模态，实现了每种模态的表示学习，实验结果表明该方法在 MISP2022-AVSR 挑战数据集上达到了新的拼接最小排列字符错误率 (cpCER) 为 30.57% 的性能，并相对于前期系统获得了最多 3.17% 的相对改进，同时超过了第一名系统，获得了该数据集上的新的最先进 cpCER 为 29.13%。

    Jan, 2024

  • 基于注意力机制的视听融合在强鲁棒性自动语音识别中的应用

    本文提出了一种音频视觉融合策略，该策略不仅可以超越简单的特征连接，而且可以自动地对齐两种方式，具有提高语音识别准确性的增强表示，特别适合干扰噪声环境中的识别任务，并且可以推广到许多涉及相关模态的多模态任务中。

    Sep, 2018

  • 深度多模态学习用于音视频语音识别

    本文介绍深度多模态学习的方法，用于合并语音和视觉特征进行音视频自动语音识别。实验结果表明，使用深度网络的融合模型和双线性 softmax 层能够进一步降低电话错误率。

    Jan, 2015

  • 汉英双语中，使用改进的装订器增强音像 HUBERT 的实践

    该论文介绍了一种混合方法，名为 conformer-enhanced AV-HuBERT，该方法在语音识别方面的表现进一步提高。该方法基于 AV-HuBERT，在一个清洁和嘈杂环境下分别实现了相对 WER 降低 7％和 16％。除此之外，该论文还提出了一个新的 1000 小时的普通话语音识别数据集 CSTS，通过预先训练，该方法相对于基线 AV-HuBERT 超过了 WeNet ASR 系统。conformer-enhanced AV-HuBERT 相对于基线 AV-HuBERT 系统，在 MISP 和 CMLR 上分别减少了 7％和 6％的 CER。

    Feb, 2023

  • 嘈杂环境下唇读识别：通用视音位映射与转移提升音视频语音识别鲁棒性

    本文提出了一种基于视觉模态的无监督噪声适应方案，使用通用的音位 - 音素映射 (UniVPM) 技术从视觉信号中恢复干净音频从而扩展 AVSR 系统的噪声鲁棒性。在公共基准测试数据集 LRS3 和 LRS2 上进行的广泛实验表明，我们的方法在各种噪声和清晰条件下都达到了最先进水平，此外在视觉语音识别任务上也优于之前的最优水平。

    Jun, 2023

  • 跨模态全局交互与局部对齐的视听语音识别

    本文提出了一种跨模态全局交互和局部对齐 (GILA) 方法，从全局和局部角度捕捉音频 - 视觉 (A-V) 间的深层相关性，用于改善音频 - 视觉语音识别中的多模态表示，实验结果表明我们的方法优于现有的有监督学习方法。

    May, 2023

  • 鲁棒性自监督视听语音识别

    本文提出了一个基于 AV-HuBERT 模型的自监督音视频言语识别框架，利用 LRS3 数据集的少量标记数据，在噪音干扰的情况下提高了超过 50% 的性能，并且比基于音频的模型将词错误率减少了 75% 以上。

    Jan, 2022

  • 通过强化学习利用语言和视觉的模态特定表征进行音视频语音识别

    我们提出了一个基于强化学习的框架（MSRL），动态地协调模态不变和模态特异性的表示，从而稳定地提供互补信息，用于音视频语音识别任务，实验结果表明，此方法在 LRS3 数据集中取得了最新的成果。

    Dec, 2022

  • 协同双重注意力的音视频语音增强与面部线索

    通过利用人脸线索，特别是唇部区域以外的面部区域，来提高语音视觉增强的鲁棒性。

    Nov, 2023