CVPRMar, 2024

关于辍学引发的韧性研究，对于音频视觉语音识别中缺失视频帧的影响

PDF
TL;DR研究了音频 - 视觉语音识别系统对缺失视频帧的敏感性问题，表明在应用 dropout 技术提高对缺失帧的鲁棒性的同时，也导致对完整数据输入性能的损失。通过揭示由于 dropout 引起的对音频存在过多的模态偏差，探究了这一对立现象，同时提出了模态偏差假设（MBH）以系统地描述多模态系统中模态偏差与缺失模态鲁棒性之间的关系。在此基础上，提出了一种新颖的多模态分布近似与知识蒸馏（MDA-KD）框架，可以减少对音频模态的过度依赖，同时维持性能和鲁棒性。最后，为了解决整个模态缺失的问题，采用适配器动态切换决策策略。通过使用 MISP2021 和 MISP2022 数据集进行一系列综合实验评估和验证了我们提出的方法的有效性。
audio-visual speech recognitiondropout techniquemodality biasmultimodal distribution approximation with knowledge distillationmissing modality
发现论文，激发创造
  • 关于音视觉语音识别对缺失视频的鲁棒性

    通过引入一个可以准确且可测试地评估鲁棒性的框架，我们对常见的多模态语音识别架构在各种噪声条件和测试套件中的鲁棒性进行了系统的实证研究，并展示了一种基于级联的与架构无关的解决方案，可以在存在缺失视频的情况下持续实现鲁棒性。

    Dec, 2023

  • 多模态动作识别中可学习的无关模态丢弃技术 —— 以特定模态注释视频为例

    通过使用语言模型构建语义音视频标签字典，本文提出了一种新的音视频框架来有效利用任何仅具有视觉注释的数据集中的音频模态，在训练阶段使用 SAVLD 以及预训练的多标签模型来估计音视频模态相关性，并提出了一种可学习的无关模态 dropout 方法；此外，本文还提出了一种新的双流视频 Transformer 来高效地建模视觉模态。 Kinetics400 和 UCF-101 上的结果表明，该框架优于大多数相关的行动识别方法。

    Mar, 2022

  • 面向音视频表情识别的处理缺失模态的训练策略

    研究了当其中一个模态缺失时，自动音视频表情识别中 transformer 模型的表现，通过消融实验和随机消融训练数据的策略，提高了模型的泛化性能。

    Oct, 2020

  • 缺失鲁棒性的视觉增强多模态语篇错流检测

    现有的语音故障检测技术只依赖于声学数据，本研究提出了一种实用的多模态故障检测方法，利用可用的视频数据与音频结合。我们策划了一个音频 - 视觉数据集，并提出了一种新颖的融合技术，使用权值共享的模态不可知编码器来学习时态和语义上下文。我们的可靠设计适应了视频模态在推断过程中有时可能丢失的现实场景。当两种模态始终可用时，我们还提供了备选融合策略。在五个故障检测任务的实验中，我们的统一多模态方法明显优于仅音频的单模态方法，当视频和音频模态始终可用时，平均绝对改进率为 10%（即百分点增加 10%），即使在一半的样本中视频模态丢失，仍然有 7% 的改进。

    Jun, 2024

  • 探索音频在视频字幕中的作用

    本研究提出了一种音视频框架，利用原始音频信号学习，通过 Modality Balanced Pre-training 优化模型，且采用局部和全局融合机制进行信息交换，以提高视频字幕生成的性能。

    Jun, 2023

  • MIS-AVioDD: 音频 - 视觉深度伪造检测的模态不变和特定表示

    本文研究针对深度伪造技术的威胁，提出了一种在表征层面上辅助音频和视觉融合的多模态深度伪造检测方法，通过使用模态不变和特定的表 征确保保留表示真实或伪造内容的共同模式和每个模态的特定模式，实验证明该方法相比于单模态和多模态音 视频深度伪造检测的最先进方法能够提高 17.8% 和 18.4% 的准确性。

    Oct, 2023

  • 视频检索的模态平衡嵌入

    介绍了将 MBVR 应用于大型视频平台的实践，该方法采用人工生成的模态混洗样本和基于视觉相关性的动态边距（DM），旨在鼓励视频编码器对每种模态进行平衡关注，通过实验证明了该方法在解决模态偏见问题方面的有效性和高效性。

    Apr, 2022

  • u-HuBERT：统一的混合模态语音预训练与零样本迁移到未标记模态

    本文提出了 u-HuBERT，它是一个能够利用模态失效的自监督预训练框架，可以在保持优秀性能的同时，实现单模型处理多模态的语音输入。

    Jul, 2022

  • 多模态情感分析中的遗漏模态：一种知识迁移方法

    提出了一种新颖的知识传递网络来在不同的感知模式之间进行翻译以重构缺失的音频模式，并且采用了跨模态注意机制以保留重构和观察到的模态的最大信息，用于情感预测。通过对三个公开数据集进行大量实验证明，相较于基线方法实现了显著的改进，并在完全多模态监督方面取得了与之前方法相当的结果。

    Dec, 2023

  • 关于模态偏差的识别和减少

    本文研究了在多模态分类系统中影响模型性能的模态偏差问题，通过构建两个基于 Out-of-Distribution 协议的数据集和提出一种自适应的 plug-and-play 损失函数方法，在彩色数字识别、视频动作识别和视觉问答三个任务上实现了明显的性能改进，证明了该方法在减少模态偏差问题方面的优越性。

    Feb, 2022