ACLFeb, 2022

利用单模态自监督学习实现多模态音视频语音识别

PDF
TL;DR本研究旨在通过使用未经标注的单模态数据和大规模的自监督学习来提高多模态音频 - 视觉语音识别，该方法在实验中表现出良好的效果，取得了相对改善 30% 的优越结果。
transformer-based modelsunlabelled unimodal dataself-supervised learningaudio-visual speech recognitionmultimodal scenario
发现论文，激发创造
  • u-HuBERT：统一的混合模态语音预训练与零样本迁移到未标记模态

    本文提出了 u-HuBERT，它是一个能够利用模态失效的自监督预训练框架，可以在保持优秀性能的同时，实现单模型处理多模态的语音输入。

    Jul, 2022

  • 混合 CTC/RNN-T 快速 Conformer 的多语言视听语音识别

    通过引入多语种音视频语音识别模型和快速调整器模型，提高了模型性能和音频噪音稳健性。在多语种数据集上进行训练，达到了领先水平，并在 MuAViC 基准测试中显著减少了平均识别错误率。

    Mar, 2024

  • 通过强化学习利用语言和视觉的模态特定表征进行音视频语音识别

    我们提出了一个基于强化学习的框架（MSRL），动态地协调模态不变和模态特异性的表示，从而稳定地提供互补信息，用于音视频语音识别任务，实验结果表明，此方法在 LRS3 数据集中取得了最新的成果。

    Dec, 2022

  • 鲁棒性自监督视听语音识别

    本文提出了一个基于 AV-HuBERT 模型的自监督音视频言语识别框架，利用 LRS3 数据集的少量标记数据，在噪音干扰的情况下提高了超过 50% 的性能，并且比基于音频的模型将词错误率减少了 75% 以上。

    Jan, 2022

  • 深度多模态学习用于音视频语音识别

    本文介绍深度多模态学习的方法，用于合并语音和视觉特征进行音视频自动语音识别。实验结果表明，使用深度网络的融合模型和双线性 softmax 层能够进一步降低电话错误率。

    Jan, 2015

  • 自监督多模态通用网络

    本文介绍了一种利用视频中存在的三种模态（视觉、音频和语言），通过自监督学习来学习表示的方法，并引入了多模态多功能网络的概念 —— 一种可以吸收多种模态，其表示方法可以在多种模态下用于下游任务。通过这种方法，我们可以在多个具有挑战性的基准测试中获得最先进的性能。

    Jun, 2020

  • 多模态半监督学习文本识别

    该文章提出了一种半监督的多模态文本识别方法（SemiMTR），通过使用自监督学习和监督学习相结合的单一阶段，将现有的多模态场景文本识别方法拓展到了未标注数据的应用。该算法利用对视觉模型的预训练和语言模型的微调，同时在每个模态单独地应用连续性正则化方法进行训练，取得了在多个场景文本识别基准测试上的最新成果。

    May, 2022

  • 从原始数据中联合学习视觉和听觉语音表征

    RAVEn 是利用自主学习方法联合学习视觉和听觉语音表征的一种多模态方法，其预训练目标涉及编码掩码输入并预测由缓慢演化的动量编码器生成的文本内容。发现 RAVEn 在视觉语音识别（VSR）方面优于所有自主学习方法，并结合仅使用 30 小时标记数据的自训练方法甚至优于针对 90000 小时非公共数据训练的半监督方法。在 LRS3 低资源设置中，RAVEn 在听觉语音识别和 VSR 方面均取得了最新的结果。

    Dec, 2022

  • 端到端音视频语音识别的模态注意力

    该研究提出了一种基于多模态注意力的音视频语音识别方法，该方法使用了最先进的 Seq2seq 架构，基于它们的重要性自动学习了来自两种模态的混合表示，并在不同信噪比下相对于单独的音频模态获得了 2% 到 36% 的提高，相比传统的特征级联方法，在清洁和嘈杂的条件下均能获得更好的识别性能，可以轻松地推广到其他多模态任务中。

    Nov, 2018

  • 多模态自监督学习通用音频表示

    通过使用多模态框架，在训练音频表征时利用视频信息和加入混合样本的数据增强，本研究的对比学习框架成功地实现了在非语义音频任务上的领先水平。

    Apr, 2021