COLINGMar, 2024

基于地标指导的跨说话人唇读技术与互信息规范化

PDF
TL;DR本研究提出了一种训练鲁棒性的唇读模型的方法，通过利用唇部地标引导的细粒度视觉线索，减少与特定说话者相关的外观特征，并通过最大最小互信息正则化方法捕捉不受说话者影响的潜在表示。实验证明了该方法在说话者内部和跨说话者条件下的有效性。
发现论文，激发创造
  • LipFormer: 基于视觉地标变换器学习从未见过说话者的唇读

    该论文介绍了一种新的语音识别方法：LipFormer，它使用了视觉和标记反映的多模态特征，使得它能够对不同的嘴唇颜色和形状产生的可见变化具有鲁棒性，并且在未知的发言人上表现出出色的泛化性能。

    Feb, 2023

  • 有效的唇语识别的互信息最大化

    利用深度学习与信息论相结合的方法，提出了在本地特征和全局序列层面应用互信息约束改善嘴唇阅读表现的技术，并在两个大型基准测试中达到了新的最佳表现。

    Mar, 2020

  • 多粒度时空建模用于唇读

    本文提出了一种基于多级时空建模法的新型唇读模型，采用细粒度和中等粒度特征提取方法，结合时域注意理解整个输入序列，该模型在挑战的单词级唇读基准测试中表现出良好的效果。

    Aug, 2019

  • 基于面部特征的多说话人环境下的语音增强

    本文提出了使用已有的人脸标记检测器生成时间 - 频率蒙版来提高多人交谈环境下的语音增强过程，其结果表明，我们的模型是在有限的 GRID 和 TCD-TIMIT 数据集上进行培训和评估的首个能够实现在多人交谈环境中实现独立于发言人的语音增强的模型。

    Nov, 2018

  • 通过压缩语音识别器提高口讯识别效果

    本文提出一种名为 Lip by Speech (LIBS) 的新方法，通过从语音识别器中学习来提高唇语的性能，采用多粒度知识蒸馏进行跨模态知识蒸馏，并在 CMLR 和 LRS2 数据集上实现新的最先进性能，分别比基线优越 7.66％ 和 2.75％.

    Nov, 2019

  • 由唇语专家引导的交谈面部生成

    本文提出了一种利用口语专家、对不正确的生成结果进行惩罚和全局时间和视觉同步编码的对比学习和变压器方法来提高口语智能理解度的方法，并使用两种不同的口语专家评估生成视频的智能理解度。我们的方法在读取可理解度、嘴唇运动同步等方面优于当前的一些最先进方法，并获得其他方面的收益。

    Mar, 2023

  • 唇读口型理解：利用跨模态知识蒸馏混合感官进行基于单词模型的唇形理解

    本文提出了一种从音频语音识别系统向视觉语音识别器转移技术的方法，其目标是在读唇模型训练过程中利用音频数据。

    Jun, 2022

  • 罗马尼亚跨语言域自适应的端到端唇读

    该研究论文研究了视窗学习（或称视觉语音识别）的关键领域，采用各种架构和优化方法对基于罗马尼亚语言数据集的模型进行测试，并通过使用英语和德语数据集的无标签视频来帮助模型学习语言不变特征，进而提出跨语言领域自适应的方法，最终获得了尖端结果，并评估了模型中添加的神经抑制机制的性能。

    Oct, 2023

  • 学习可分离的隐藏单元贡献用于适应性口型阅读

    提出了一种新颖的嘴唇阅读中的说话人适应方法，根据嘴唇运动中浅层和深层的特点分别对其进行处理，通过自动学习说话者的独特特征以提高鲁棒的嘴唇阅读。

    Oct, 2023

  • 使用域对抗训练提高无需说话者口型识别

    本文介绍了一种唇读系统，即一种只使用视觉特征的语音识别系统，它利用了领域对抗训练等技术以实现说话人无关性，用于优化由一系列前馈神经网络和 LSTM 递归神经网络构成的唇读者，并实现了端到端可训练的系统，只需要少量带有未转录目标数据的 frames 即可在目标说话人的语音识别准确率上显著提高约 40％。

    Aug, 2017