深度均衡多模态融合

Jun, 2023

Deep Equilibrium Multimodal Fusion

Jinhong Ni, Yalong Bai, Wei Zhang, Ting Yao, Tao Mei

TL;DR本文提出了一种通过寻求动态多模式融合过程的固定点并以适应性和递归的方式建模特征相关性的新型深度平衡（DEQ）方法，从低级到高级彻底编码了跨模态信息，取得了多个多模态基准的最先进性能。

Abstract

multimodal fusion integrates the complementary information present in multiple modalities and has gained much attention recently. Most existing fusion approaches either learn a fixed fusion strategy during training and inference, or are only capable of fusing the information to a certa

multimodal fusion deep equilibrium method recursive feature correlation multimodal learning state-of-the-art

发现论文，激发创造

动态多模态融合

本文提出了一种动态多模态融合的方法，可以在预测过程中根据数据的不同需求自适应地融合多模态数据，从而有效地减少计算成本，并在多个多模态任务上获得了良好的效果，这为动态多模态网络设计开辟了一条新的方向。

Mar, 2022

可证明的低质量多模态数据动态融合

本研究提供了一种新的质量感知多模态融合方法，旨在从概率推理的角度解决跨模态相关性和交互性的挑战，并在多个基准测试中验证了其分类准确性和模型鲁棒性的提升。

Jun, 2023

预测动态融合

提出了一种用于多模态学习的预测动态融合（PDF）框架，通过从泛化角度揭示多模态融合，理论上推导出可预测的合作信念（Co-Belief）与单一和整体置信的关系，并进一步提出相对校准策略以校准潜在的不确定性，通过在多个基准测试上的大量实验证实了其优越性。

Jun, 2024

融合还是失去：多模态基于仿真推理的深度融合

通过多模态神经后验估计（MultiNPE）方法，我们整合来自不同来源的异构数据，利用神经网络进行基于模拟的推断。通过受到注意力机制深度融合学习的启发，研究人员能够分析来自不同领域的数据，通过增加精确性来推断复杂数学模型的参数。我们为 MultiNPE 提出了不同的多模态融合方法（早期、晚期和混合），并在三个具有挑战性的数值实验中评估其性能。MultiNPE 不仅在基准模型上优于基准方法，而且在神经科学和心脏病学的代表性科学模型中实现了更好的推断。此外，我们还系统地研究了部分数据缺失对不同融合策略的影响。在不同的实验中，晚期和混合融合技术成为多模态基于模拟的推断的实际应用的首选方法。

Nov, 2023

使用不对称多层融合学习深层次多模态特征表示

本文介绍了一种有效的多模态特征融合框架，其中采用了两种创新的融合方案，可在一个共享的单一网络中学习多模态特征，并引入两个非对称融合操作，以增强跨通道的多模态特征交互并增强通道内的空间特征区分能力。实验结果表明，本文提出的框架在语义分割和图像翻译任务中表现优异。

Aug, 2021

低质量数据的多模态融合：全面调查

基于低质量数据的多模态融合面临四个主要挑战：噪声多模态数据，不完整多模态数据，不平衡多模态数据和质量变化多模态数据。本文通过全面的分类对多模态融合的常见挑战和最新进展进行调研，为研究人员提供了了解该领域现状和发现潜在研究方向的方法。此外，本文还讨论了该领域的开放问题以及有趣的未来研究方向。

Apr, 2024

通过投影网络对具有异构维度的数据进行深度多模态融合

本研究提出了一种新颖的基于深度学习的多模态数据融合框架，具有异构维度（例如 3D+2D）的兼容定位任务的能力，并在地理萎缩和视网膜血管分割任务上取得了优于现有单模态方法的结果。

Feb, 2024

多模态深度学习中的模态组合学习

提出了基于深度神经网络的多模态学习方法，采用乘法结合不同来源的模态信息以提高性能，并通过过滤噪声和处理冲突来采取联合方法，扩展将不仅结合单一来源模态，而是一组混合来源模态，以更好地捕获跨模态信号相关性，取得了在不同领域的三个多模态分类任务中实验结果的改进。

May, 2018

多损失梯度调节改进多模态学习

通过学习多种模态（如音频和视频）可以利用互补信息，提高模型性能，本文提出了一种多损失目标和改进的平衡过程，通过动态调整不同模态的学习速度来实现更好的结果。

May, 2024

多元分类器的多数投票用于后期融合

研究了多媒体索引中的后期分类器融合问题，提出了一种基于 MinCq 的扩展方法，使用一个适用于排名的有序损失函数来提高平均准确率，同时考虑初始投票者的多样性。该方法在 PASCAL VOC'07 基准测试中表现良好。

Apr, 2014