May, 2023

基于度量学习改善正常与无声语音间的视觉语音识别差距

PDF
TL;DR本文提出一种基于 visemes 的度量学习方法，解决了视觉语音识别中正常与无声语音的表现差距问题，通过最小化预测 viseme 概率分布之间和内部的 Kullback-Leibler 散度，有效地学习和预测 viseme 身份。
visual speech recognitionsilent speechmetric learningvisemeskullback-leibler divergence
发现论文，激发创造
  • 野外多语言视觉语音识别

    本文旨在通过视觉手势识别来实现基于嘴唇运动的语音识别，通过优化模型设计和参数， 加入额外任务，并增加数据扩充，提高模型性能，实现在不同语言下超越以前的所有基于公开数据集的模型表现，并比训练基于非公开数据集的模型表现更好。

    Feb, 2022

  • Lip2Vec: 通过隐藏到隐藏的视听表示映射实现高效稳健的视觉语音识别

    基于 Lip2Vec 的视觉语音识别（VSR）模型通过学习先验模型，将嘴唇序列的编码潜在表示映射到对应的音频潜在表示，以实现有效的文本解码。利用现成的音频语音识别（ASR）模型将生成的音频表示解码为文本，该方法在 LRS3 数据集上实现了 26 的错误率（WER），并在 VoxCeleb 测试集上保持了合理的性能，为更灵活的口型阅读形式拉近了口语识别与视觉语音识别之间的性能差距。

    Aug, 2023

  • AKVSR: 基于压缩预训练模型的音频知识增强的视觉语音识别

    提出了一种基于音频知识的视觉语音识别框架（AKVSR），通过使用音频模态来补充视觉模态中不足的语音信息，利用预训练的大规模音频模型编码丰富的音频知识，并通过量化舍弃非语言信息从而将语言信息保存在紧凑的音频存储器中，并包括能够从紧凑的音频存储器中找到最佳匹配音频特征的音频桥接模块，使得训练过程不需要音频输入，通过广泛的实验验证了该方法的有效性，并在广泛使用的数据集 LRS2 和 LRS3 上取得了最新的最佳表现。

    Aug, 2023

  • LiteVSR：通过学习无标签数据的语音表征实现高效的视觉语音识别

    该论文提出了一种新颖的资源高效方法，利用任何训练过的自动语音识别（ASR）模型生成的语音表示来进行视觉语音识别（VSR）。通过远离最近文献中流行的资源密集型趋势，我们的方法从已训练的基于 Conformer 的 ASR 模型中提取知识，在标准的 VSR 基准测试中以极少的资源利用实现竞争性的性能。仅使用未标记的音频 - 视觉数据，我们的基准模型在 LRS2 和 LRS3 测试基准上分别达到了 47.4% 和 54.7% 的词错误率（WER）。在有限标记数据的微调之后，词错误率降至 35%（LRS2）和 45.7%（LRS3）。我们的模型可以在几天内在单个消费级 GPU 上进行训练，并能够在老旧硬件上实时进行端到端的 VSR，为实现更易于获取和高效利用资源的 VSR 方法提供了一个路径。

    Dec, 2023

  • SyncVSR: 数据高效的视觉语音识别与端到端跨模态音频令牌同步

    Visual Speech Recognition (VSR) aims to interpret spoken content from visual cues, and SyncVSR presents an end-to-end learning framework that synchronizes visual representation with acoustic data, achieving state-of-the-art results while reducing data usage by up to ninefold.

    Jun, 2024

  • 嘈杂环境下唇读识别：通用视音位映射与转移提升音视频语音识别鲁棒性

    本文提出了一种基于视觉模态的无监督噪声适应方案，使用通用的音位 - 音素映射 (UniVPM) 技术从视觉信号中恢复干净音频从而扩展 AVSR 系统的噪声鲁棒性。在公共基准测试数据集 LRS3 和 LRS2 上进行的广泛实验表明，我们的方法在各种噪声和清晰条件下都达到了最先进水平，此外在视觉语音识别任务上也优于之前的最优水平。

    Jun, 2023

  • SynthVSR: 利用合成监督扩大视觉语音识别的规模

    本文研究使用合成口型运动数据提高视觉语音识别系统性能的方法。我们提出了一种基于语音驱动的口型动画模型 SynthVSR，利用大规模合成数据进行半监督学习，在公开数据集上实现了最新的性能。

    Mar, 2023

  • 基于视觉注意力的子词级唇读技术

    该研究提出了一种关注视觉嘴唇读取的独特挑战，采用定制的基于注意力和亚词单元的方法，构建视觉嘴唇读取模型和视觉语音检测模型，并在公共数据集上实现了当今最优秀的结果，甚至超过工业声音数据集训练模型大约一个数量级的数据。

    Oct, 2021

  • 通过唇语子词相关性进行视觉预训练和交叉模态融合编码的提高音频视觉语音识别

    本文提出了两种新技术来改善音视频语音识别，通过利用口型和音节级次字单元之间的相关性来建立良好的帧级音节边界并实现准确定位，以及利用音频引导的跨模态融合编码器神经网络来充分利用模态互补性。实验结果表明，使用相对较少的训练数据，该系统比复杂的前端和后端现有系统取得更好的性能。

    Aug, 2023

  • 利用 GAN 进行零样本学习的视觉语音识别新类别

    本文介绍了一种使用生成对抗网络 (GANs) 生成新类别的零样本学习方法，用于提高视觉语音识别系统的准确性和处理跨语音的词汇。本研究展示出，该模型是语言无关的，因此可以使用英语训练数据生成新语言 (如印地语) 的视频。我们公开了添加了新类别的视频和代码。

    Jan, 2019