多模态深度学习中的模态组合学习

May, 2018

多模态深度学习中的模态组合学习

Learn to Combine Modalities in Multimodal Deep Learning

Kuan Liu, Yanen Li, Ning Xu, Prem Natarajan

TL;DR提出了基于深度神经网络的多模态学习方法，采用乘法结合不同来源的模态信息以提高性能，并通过过滤噪声和处理冲突来采取联合方法，扩展将不仅结合单一来源模态，而是一组混合来源模态，以更好地捕获跨模态信号相关性，取得了在不同领域的三个多模态分类任务中实验结果的改进。

Abstract

Combining complementary information from multiple modalities is intuitively appealing for improving the performance of learning-based approaches. However, it is challenging to fully leverage different modalities due to practical challenges such as varying levels of noise and conflicts between modalities. Existing methods do not adopt a joint approach to capt

multi-modal synergy neural network correlation classification

发现论文，激发创造

基于门控信息融合网络的鲁棒性深度多模态学习

本文提出了一种在存在不完善模态的情况下设计稳健的深度多模态学习体系结构的方法 - 通过使用深度融合架构进行目标检测，并使用带有门控信息融合网络调节贡献权重进行构建，以实现具有抗干扰性的性能表现提高，对于 KITTI 数据集的单发探测器（SSD），本文通过数据增强方案和提出的融合网络取得了显著的性能提升。

Jul, 2018

超越单一学习：整合多种认知方式对终身学习的重要性

多模态持续学习中，多个视角和多模态的互补信息使模型学习到更准确、更稳健的表示，显著减轻遗忘，并通过利用各个模态之间数据点的关系结构相似性，提出了一种整合和对齐不同模态信息的方法。

May, 2024

基于深度学习的多模态医学图像分类信息融合技术综述

多模医学成像在临床诊断和研究中起着关键作用，深度学习多模态融合技术在提高医学图像分类方面显示出强大的工具。本综述对基于深度学习的医学分类任务中的多模态融合的发展进行了彻底分析，包括不同融合方案和网络架构的性能评估，讨论了相关挑战和未来研究方向。

Apr, 2024

多损失梯度调节改进多模态学习

通过学习多种模态（如音频和视频）可以利用互补信息，提高模型性能，本文提出了一种多损失目标和改进的平衡过程，通过动态调整不同模态的学习速度来实现更好的结果。

May, 2024

多模态深度学习

这篇论文概述了多模态方法中的最新技术和框架，并重点介绍了 Deep Learning、模型框架、特征表示学习以及生成艺术等关键点。

Jan, 2023

多模态智能：表示学习、信息融合与应用

本文综述了多模态智能领域中的各种模型和学习方法。主要关注点是视觉和自然语言模态的组合，涵盖了多模态表示学习、多模态信号融合以及多模态应用等方面，旨在为相关社群未来的研究提供参考。

Nov, 2019

复杂脑部疾病预测的不完整多模态学习

本文提出了一种新的不完全多模态数据整合方法，利用变压器和生成对抗网络，利用辅助模态数据来提高单模态模型的性能，并将其应用于预测阿尔茨海默病的认知退化和疾病结果。

May, 2023

多模态学习为何比单一模态学习更好（可证明）

本文证明了使用多种模态进行深度学习相比于使用单一模态，采用常见的多模态融合框架可以更好地学习，并且能够获得较小的总体风险，这是首个从泛化角度捕捉到真实多模态应用中重要的定性现象的理论论证。

Jun, 2021

学习未见过的模态交互

本文针对多模态学习的完备性假设提出挑战，提出一种基于特征投影模块的解决方案，在推理过程中实现对看不见模态的泛化。同时使用伪监督来指示模态的预测可靠性。实验结果表明，该方法对于各种任务和模态具有很好的效果。

Jun, 2023

多模式分类网络训练的困难之处是什么？

通过 Gradient Blending 技术实现不同多模态训练的优化，避免了其过度拟合的问题，从而取得多项基准测试任务的最新成果。

May, 2019