研究了音频 - 视觉语音识别系统对缺失视频帧的敏感性问题，表明在应用 dropout 技术提高对缺失帧的鲁棒性的同时，也导致对完整数据输入性能的损失。通过揭示由于 dropout 引起的对音频存在过多的模态偏差，探究了这一对立现象，同时提出了模态偏差假设（MBH）以系统地描述多模态系统中模态偏差与缺失模态鲁棒性之间的关系。在此基础上，提出了一种新颖的多模态分布近似与知识蒸馏（MDA-KD）框架，可以减少对音频模态的过度依赖，同时维持性能和鲁棒性。最后，为了解决整个模态缺失的问题，采用适配器动态切换决策策略。通过使用 MISP2021 和 MISP2022 数据集进行一系列综合实验评估和验证了我们提出的方法的有效性。

Mar, 2024

研究了当其中一个模态缺失时，自动音视频表情识别中 transformer 模型的表现，通过消融实验和随机消融训练数据的策略，提高了模型的泛化性能。

Oct, 2020

本文提出了一种基于残差网络和双向门控循环单元 (BGRU) 的端到端视听模型，该模型是第一个在大型公开数据集 (LRW) 上学习直接从图像像素和音频波形提取特征并进行语境内单词识别的视听融合模型，并取得了比端到端仅音频模型和基于 MFCC 的模型更好的分类效果。

Feb, 2018

本文针对音频和视频同时受损的多模态输入情况下的视音频说话人识别问题展开研究，通过分析现有模型的不足并引入多模态输入损坏模型来设计一个稳健的 AVSR 模型框架，即 AV-RelScore，通过可靠性得分确定可靠输入流并提高识别准确度。

Mar, 2023

本研究探讨了利用图像确立语音识别模型中文字的语义含义，以减少噪音干扰并提高模型鲁棒性的方法。实验结果表明整合视觉信息可以显著提高模型性能，增强语音信号对语音识别的帮助

Feb, 2020

本文提出了一种音频视觉融合策略，该策略不仅可以超越简单的特征连接，而且可以自动地对齐两种方式，具有提高语音识别准确性的增强表示，特别适合干扰噪声环境中的识别任务，并且可以推广到许多涉及相关模态的多模态任务中。

Sep, 2018

该论文旨在研究多模态攻击下机器的多感官感知能力，针对多模态对抗攻击对视听事件识别任务的影响，提出弱监督声音定位模型并基于音视频相似性约束和外部特征存储器实现了一种反对抗防御方法，实验结果表明该方法可有效提高视听网络的鲁棒性。

Apr, 2021

该研究提出了一种基于多模态注意力的音视频语音识别方法，该方法使用了最先进的 Seq2seq 架构，基于它们的重要性自动学习了来自两种模态的混合表示，并在不同信噪比下相对于单独的音频模态获得了 2% 到 36% 的提高，相比传统的特征级联方法，在清洁和嘈杂的条件下均能获得更好的识别性能，可以轻松地推广到其他多模态任务中。

Nov, 2018

我们训练了一个身份验证架构，并评估了该模型合并音频和视觉表示的部分的修改，包括在要比较的两个示例中的任何一个输入缺失的情况下。我们在 Voxceleb1-E 测试集上报告的结果表明，在全模态设置和一个单模态缺失时，对输出嵌入进行平均可以改善错误率，并更充分地利用嵌入空间，这比使用共享层的系统更具优势，并讨论了可能的原因。

Nov, 2023

现有的语音故障检测技术只依赖于声学数据，本研究提出了一种实用的多模态故障检测方法，利用可用的视频数据与音频结合。我们策划了一个音频 - 视觉数据集，并提出了一种新颖的融合技术，使用权值共享的模态不可知编码器来学习时态和语义上下文。我们的可靠设计适应了视频模态在推断过程中有时可能丢失的现实场景。当两种模态始终可用时，我们还提供了备选融合策略。在五个故障检测任务的实验中，我们的统一多模态方法明显优于仅音频的单模态方法，当视频和音频模态始终可用时，平均绝对改进率为 10%（即百分点增加 10%），即使在一半的样本中视频模态丢失，仍然有 7% 的改进。

Jun, 2024