Nov, 2023

西班牙语连续唇读的视觉特征分析

PDF
TL;DR我们提出了一种分析不同语音视觉特征的方法，以确定哪种方法最适合捕捉西班牙语口唇运动的特性，并通过这种方式来处理自动视觉语音识别任务。在使用传统的基于隐马尔可夫模型和高斯混合模型的系统进行评估时，结果表明，在受限条件下，使用特征脸和深度特征的组合是最佳的视觉方法。
brainlipreadingspeech visual featuresspanishvisual speech recognition
发现论文，激发创造
  • LIP-RTVE：西班牙连续口语的音视数据库

    本文介绍了一个半自动注释的音视频数据库，用于处理自由自然的西班牙语，提供了来自西班牙电视的 13 小时数据。此外，报告了基于隐马尔可夫模型的发言人相关和发言人无关情景的基准结果，这是一种在语音技术领域广泛使用的传统范式。

    Nov, 2023

  • 适应说话者的端到端连续西班牙语视觉语音识别

    利用西班牙 LIP-RTVE 数据库，本文研究了如何通过专门训练的端到端系统来改善语音识别质量，结果表明，通过演讲者适应，可以显著提高 VSR 系统的性能，并且即使只有有限的数据时，也可以达到与当前最先进技术相媲美的结果。

    Nov, 2023

  • 借助视界构建更好的视觉语言表达和唇读能力

    我们提出了一个新的方法，利用音素相似的嘴唇形状群体（发音单位）来提取更具辨别能力和鲁棒性的视频特征，从而改善了视频特征有限所导致的现有嘴唇识别系统低准确度的问题。实验证明，我们的方法在字级和句级嘴唇识别，以及使用 Arman-AV 数据集进行音频视觉语音识别等各项任务中，始终优于最先进的方法。相对最佳先前方法，该方法将嘴唇识别的单词错误率（WER）降低了 9.1%。

    Jul, 2023

  • 基于视觉和几何特征的大词汇量阿拉伯口语识别的交叉注意力融合

    利用视觉数据识别口型以识别口述单词的技术（lipreading）是研究的热门话题之一，本研究提出了一种基于交叉注意力融合的方法，通过整合嘴部区域的视觉和几何特征来预测阿拉伯语单词的出现，实验证明了该方法在识别阿拉伯语单词方面的有效性和鲁棒性，为将 lipreading 技术应用于阿拉伯语打开了新的研究机会。

    Feb, 2024

  • 深度音视频语音识别

    本论文旨在识别带有或不带有音频的说话者嘴唇所述的短语和句子，我们提出了使用自注意力机制的 CTC 和序列到序列两种模型进行唇语识别，并研究唇语识别在有噪音的情况下与音频识别的互补性，同时我们介绍并公开发布了英国电视上成千上万自然语言的新数据集 LRS2-BBC，我们建立的模型在实验中的表现均超过了以前的相关工作。

    Sep, 2018

  • 通过压缩语音识别器提高口讯识别效果

    本文提出一种名为 Lip by Speech (LIBS) 的新方法，通过从语音识别器中学习来提高唇语的性能，采用多粒度知识蒸馏进行跨模态知识蒸馏，并在 CMLR 和 LRS2 数据集上实现新的最先进性能，分别比基线优越 7.66％ 和 2.75％.

    Nov, 2019

  • 多粒度时空建模用于唇读

    本文提出了一种基于多级时空建模法的新型唇读模型，采用细粒度和中等粒度特征提取方法，结合时域注意理解整个输入序列，该模型在挑战的单词级唇读基准测试中表现出良好的效果。

    Aug, 2019

  • 基于注意力机制的视听融合在强鲁棒性自动语音识别中的应用

    本文提出了一种音频视觉融合策略，该策略不仅可以超越简单的特征连接，而且可以自动地对齐两种方式，具有提高语音识别准确性的增强表示，特别适合干扰噪声环境中的识别任务，并且可以推广到许多涉及相关模态的多模态任务中。

    Sep, 2018

  • 基于视觉注意力的子词级唇读技术

    该研究提出了一种关注视觉嘴唇读取的独特挑战，采用定制的基于注意力和亚词单元的方法，构建视觉嘴唇读取模型和视觉语音检测模型，并在公共数据集上实现了当今最优秀的结果，甚至超过工业声音数据集训练模型大约一个数量级的数据。

    Oct, 2021

  • LipFormer: 基于视觉地标变换器学习从未见过说话者的唇读

    该论文介绍了一种新的语音识别方法：LipFormer，它使用了视觉和标记反映的多模态特征，使得它能够对不同的嘴唇颜色和形状产生的可见变化具有鲁棒性，并且在未知的发言人上表现出出色的泛化性能。

    Feb, 2023