Jan, 2024

SlideAVSR：用于视听语音识别的论文解释视频数据集

PDF
TL;DR通过构建 SlideAVSR 数据集，这篇论文提出了一种用于科学论文解释视频的 AVSR 数据集，旨在为模型提供在演示录音中将语音话语转录为滑动演示文本的基准评估。同时，论文还介绍了一种名为 DocWhisper 的简单但有效的 AVSR 模型，它可以参考来自幻灯片的文本信息，并在 SlideAVSR 数据集上验证其有效性。
audio-visual speech recognitionavsrdatasetsslideavsrdocwhisper
发现论文，激发创造
  • 鲁棒性自监督视听语音识别

    本文提出了一个基于 AV-HuBERT 模型的自监督音视频言语识别框架，利用 LRS3 数据集的少量标记数据，在噪音干扰的情况下提高了超过 50% 的性能，并且比基于音频的模型将词错误率减少了 75% 以上。

    Jan, 2022

  • AKVSR: 基于压缩预训练模型的音频知识增强的视觉语音识别

    提出了一种基于音频知识的视觉语音识别框架（AKVSR），通过使用音频模态来补充视觉模态中不足的语音信息，利用预训练的大规模音频模型编码丰富的音频知识，并通过量化舍弃非语言信息从而将语言信息保存在紧凑的音频存储器中，并包括能够从紧凑的音频存储器中找到最佳匹配音频特征的音频桥接模块，使得训练过程不需要音频输入，通过广泛的实验验证了该方法的有效性，并在广泛使用的数据集 LRS2 和 LRS3 上取得了最新的最佳表现。

    Aug, 2023

  • ViSpeR: 多语言音视频语音识别

    该研究在中文、西班牙语、英语、阿拉伯语和法语这五种常用语言上，对音视频语音识别（AVSR）进行了广泛而详细的研究。通过收集大规模的数据集并进行有监督学习模型的训练，在多语言环境中训练的 ViSpeR 模型在每种语言的最新基准测试中表现出竞争力。该研究通过提供数据集和模型给研究社区，旨在为音视频语音识别领域的进一步研究和探索奠定基础。

    May, 2024

  • 野外多语言视觉语音识别

    本文旨在通过视觉手势识别来实现基于嘴唇运动的语音识别，通过优化模型设计和参数， 加入额外任务，并增加数据扩充，提高模型性能，实现在不同语言下超越以前的所有基于公开数据集的模型表现，并比训练基于非公开数据集的模型表现更好。

    Feb, 2022

  • MLCA-AVSR：基于多层交叉注意力融合的音视频语音识别

    提出了一种多层交叉注意力融合的视听语音识别方法，通过在不同的音频 / 视觉编码器层级融合各种模态，实现了每种模态的表示学习，实验结果表明该方法在 MISP2022-AVSR 挑战数据集上达到了新的拼接最小排列字符错误率 (cpCER) 为 30.57% 的性能，并相对于前期系统获得了最多 3.17% 的相对改进，同时超过了第一名系统，获得了该数据集上的新的最先进 cpCER 为 29.13%。

    Jan, 2024

  • SynthVSR: 利用合成监督扩大视觉语音识别的规模

    本文研究使用合成口型运动数据提高视觉语音识别系统性能的方法。我们提出了一种基于语音驱动的口型动画模型 SynthVSR，利用大规模合成数据进行半监督学习，在公开数据集上实现了最新的性能。

    Mar, 2023

  • 混合 CTC/RNN-T 快速 Conformer 的多语言视听语音识别

    通过引入多语种音视频语音识别模型和快速调整器模型，提高了模型性能和音频噪音稳健性。在多语种数据集上进行训练，达到了领先水平，并在 MuAViC 基准测试中显著减少了平均识别错误率。

    Mar, 2024

  • 通过强化学习利用语言和视觉的模态特定表征进行音视频语音识别

    我们提出了一个基于强化学习的框架（MSRL），动态地协调模态不变和模态特异性的表示，从而稳定地提供互补信息，用于音视频语音识别任务，实验结果表明，此方法在 LRS3 数据集中取得了最新的成果。

    Dec, 2022

  • AVFormer: 为冻结的语音模型注入视觉信息以实现零样本 AV-ASR

    AVFormer 是一种简单的方法，使用轻量级可训练的适配器将视觉嵌入注入到冻结的语音识别模型中，并引入了一种培训方案。同时用小量且弱标注视频数据进行培训。实验结果表明，该方法在三个不同的音视频 ASR 基准（How2、VisSpeech 和 Ego4D）上取得了最先进的零 - shot 结果，同时在传统的仅语音识别基准（LibriSpeech）上表现良好。

    Mar, 2023

  • SyncVSR: 数据高效的视觉语音识别与端到端跨模态音频令牌同步

    Visual Speech Recognition (VSR) aims to interpret spoken content from visual cues, and SyncVSR presents an end-to-end learning framework that synchronizes visual representation with acoustic data, achieving state-of-the-art results while reducing data usage by up to ninefold.

    Jun, 2024