Feb, 2024

用偏好模态量化和增强多模态稳健性

PDF
TL;DR多模态模型容易受到单模态攻击和缺失条件的干扰，为了克服这些干扰，需要具备鲁棒的多模态表示。本文通过理论研究发现，较大的单模态表示边界和更可靠的模态融合是实现更高鲁棒性的重要组成部分。基于这一发现，引入了一种训练过程称为可证明鲁棒的多模态训练 (Certifiable Robust Multi-modal Training，CRMT)，该方法可以明显提高鲁棒性的可信度和灵活性。
multi-modal modelsrobustnessuni-modal attacksmulti-modal decision boundarycertifiable robust multi-modal training
发现论文，激发创造
  • MMCert：多模态模型的可证明防御机制抵御对抗攻击

    提出了 MMCert，这是对多模态模型实施机器学习攻击的第一个认证防御方法，并通过实验结果显示其优于现有认证方法。

    Mar, 2024

  • 多模态学习中的鲁棒性

    本文提出了一个多模态鲁棒性框架，以系统分析常见的多模态表示学习方法，并针对其中的鲁棒性缺陷提出了两种干预技术，能够在三个数据集上提高 1.5-4 倍的鲁棒性。同时，通过在可能存在的额外模态上更好地利用这些干预技术，本文的算法在 AudioSet 20K 上取得了 44.2mAP 的优异表现。

    Apr, 2023

  • 通过表示解耦实现鲁棒的多模态学习

    提出了一种新颖的解耦多模态表示网络（DMRNet）来帮助稳健的多模态学习，并且在多模态分类和分割任务中表现出显著的优越性。

    Jul, 2024

  • 基于多模态基础模型的鲁棒多模态学习

    提出了一种简单而有效的框架 TRML，即利用多模态基础模型进行鲁棒多模态学习，通过生成虚拟模态替代丢失模态，并对生成和丢失模态之间的语义空间进行对齐，从而捕捉缺失模态的语义。在完整模态的情况下，我们的模型通过利用交叉模态语义空间的对齐来捕捉丢失模态的语义。实验证明我们的方法在三个多模态情感分析基准数据集 CMU-MOSI、CMU-MOSEI 和 MELD 上具有优势。

    Jan, 2024

  • 提升以文本为中心的多模态对齐的鲁棒性

    将不同的模态转化为常规文本作为大型语言模型（LLMs）的输入提示，以解决多模态模型对小的成对数据的对齐问题，并评估了当前文本为中心的对齐方法在缺失数据、噪声或缺少模态下的质量和稳健性，提出了一种新的文本为中心的方法，具有出色的稳健性和适应性，为动态和现实世界应用提供了有希望的解决方案。

    Jul, 2024

  • 防御多模融合模型免受单一来源的攻击

    本研究旨在分析多模态神经网络在单模态最坏情况下 (即对抗性攻击) 的鲁棒性，并提出了一种对抗性融合策略，该策略与现有方法相比，可显著提高单源鲁棒性，并在不影响干净数据性能的情况下，在多种多模态任务上实现了良好的表现。

    Jun, 2022

  • 通过参数高效适应处理缺失模态的鲁棒多模态学习

    使用多模态学习提高下游任务的性能，并通过简单且参数高效的自适应过程针对缺失的模态实现鲁棒性。

    Oct, 2023

  • 面对缺失模态问题，如何打造强大的多模态模型？

    多模态学习中处理缺失模态的信息论方法，通过引入 Uni-Modal Ensemble with Missing Modality Adaptation 技术，实现了对非缺失模态的特征提取和融合过程中的噪声鲁棒性增强，适用于广泛的模态并可无缝集成大规模预训练编码器，展示了在音频 - 视觉数据集和视觉 - 语言数据集上的有效性。

    Oct, 2023

  • 通过 $β$- 广义前门准则进行干预性非平衡多模态表示学习

    从因果关系的角度重新审视多模态表示学习，构建结构因果模型，引入 β- 泛化前门准则，通过提出的方法充分探索多模态判别性知识的内在机制的严格理论分析和多种经验评估支持其有效性。

    Jun, 2024

  • 多模态 Transformer 对缺失模态具有鲁棒性吗？

    本研究旨在深入探究 Transformer 模型在缺失模态数据的情况下的行为，并发现最优融合策略是数据集相关的，因此提出一种自动搜索输入数据最优融合策略以提高 Transformer 模型鲁棒性的方法。实验证实了该方法在三个基准数据集上具有优异性能。

    Apr, 2022