多模态范式的归因规范化

Apr, 2024

Attribution Regularization for Multimodal Paradigms

Sahiti Yerramilli, Jayant Sravan Tamarapalli, Jonathan Francis, Eric Nyberg

TL;DR通过提出新的正则化项，促进多模态模型在决策过程中有效利用所有模态的信息，以缓解单模态主导性问题并提高多模态机器学习系统的性能。

Abstract

multimodal machine learning has gained significant attention in recent years due to its potential for integrating information from multiple modalities to enhance learning and decision-making processes. However, it is commonly observed that unimodal models outperform multimodal models,

multimodal machine learning regularization term unimodal dominance video-audio domain embodied ai research

发现论文，激发创造

多损失梯度调节改进多模态学习

通过学习多种模态（如音频和视频）可以利用互补信息，提高模型性能，本文提出了一种多损失目标和改进的平衡过程，通过动态调整不同模态的学习速度来实现更好的结果。

May, 2024

多模式学习理论

研究多模态学习算法的泛化性质，发现与单一模态学习相比，多模态学习可以达到更好的泛化界限，最多可以提高到 O (√n) 倍，其中 n 代表样本大小。

Sep, 2023

重新审视多模式行人检测中的模态不平衡

本文介绍一种解决多模态学习中偏向某一模态的训练分布不平衡问题的新方法，使用正则化训练多模态架构使特征提取器在训练期间被同等看待以提取多模态分布，结果表明该方法在 KAIST 和 UTokyo 数据集上显着提高了最先进的性能。

Feb, 2023

多模态机器学习中的模态影响

本研究旨在探讨每种模态对 Multimodal Machine Learning 模型的影响，并针对不同分类任务的数据集和模型，提出了一种确定每种模态对 Multimodal Machine Learning 模型的影响的方法。研究结果对于理解多模态学习中每个模态的作用，并为该领域的未来发展提供了有价值的见解。

Jun, 2023

多模态学习中的鲁棒性

本文提出了一个多模态鲁棒性框架，以系统分析常见的多模态表示学习方法，并针对其中的鲁棒性缺陷提出了两种干预技术，能够在三个数据集上提高 1.5-4 倍的鲁棒性。同时，通过在可能存在的额外模态上更好地利用这些干预技术，本文的算法在 AudioSet 20K 上取得了 44.2mAP 的优异表现。

Apr, 2023

多模态机器学习：概述与分类

多模态机器学习作为一个充满潜力的多学科领域，在不断发展和完善，其普遍的分类包括：表示、翻译、对齐、融合和协同学习。该研究旨在通过共性的分类方式，综合总结目前该领域的研究进展，以期为未来的研究指明方向。

May, 2017

多模态学习的校准

该文介绍了多模态机器学习在可靠性方面的问题，通过对当前分类方法进行实证研究发现算法的可靠预测能力存在问题，因此提出了一个新的正则化技术：Calibrating Multimodal Learning 来解决问题并提高性能.

Jun, 2023

学习未见过的模态交互

本文针对多模态学习的完备性假设提出挑战，提出一种基于特征投影模块的解决方案，在推理过程中实现对看不见模态的泛化。同时使用伪监督来指示模态的预测可靠性。实验结果表明，该方法对于各种任务和模态具有很好的效果。

Jun, 2023

多模态机器学习的基础和趋势：原理、挑战和开放性问题

本文旨在探讨多模态机器学习的计算与理论基础，定义了三个关键原则和六个核心技术挑战，并提出多个未来研究的开放性问题。

Sep, 2022

RegBN: 对多模态数据进行批量归一化的正则化方法

该论文介绍了一种名为 RegBN 的新型多模态数据归一化方法，使用 Frobenius 正则化参数来解决异质多模态数据的一些副作用和依赖关系问题。RegBN 在多个研究领域的八个数据库中得到验证，支持各种模态的多模态神经网络的有效归一化。

Oct, 2023