Jun, 2021

多模态学习为何比单一模态学习更好（可证明）

PDF
TL;DR本文证明了使用多种模态进行深度学习相比于使用单一模态，采用常见的多模态融合框架可以更好地学习，并且能够获得较小的总体风险，这是首个从泛化角度捕捉到真实多模态应用中重要的定性现象的理论论证。
multi-modal learningdeep learninglatent spacedata fusionpopulation risk
发现论文，激发创造
  • 多模式学习理论

    研究多模态学习算法的泛化性质，发现与单一模态学习相比，多模态学习可以达到更好的泛化界限，最多可以提高到 O (√n) 倍，其中 n 代表样本大小。

    Sep, 2023

  • 监督多模式学习中的单模式特征学习

    通过提出一种针对多模态学习的目标后融合方法并使用 Uni-Modal Ensemble (UME) 和 Uni-Modal Teacher (UMT) 的策略来得出 Uni-Modal 特征和 paired 特征的分布，可以在各种多模态数据集上实现与其他复杂的后融合或中间融合方法可比的结果。我们证明，缺乏在每个模态上进行 Uni-modal feature learning 的现象将确实损害模型的泛化能力。

    May, 2023

  • 利用单模型教师提升多模态学习

    通过结合融合目标和单模态蒸馏的方法，提出了一种新的多模态学习方法 Uni-Modal Teacher 解决模态失败问题，为实现真实世界的机器人应用奠定了基础。

    Jun, 2021

  • 多模式学习的计算优势

    人类感知本身具有多模态特性。同样地，当机器对经验世界进行解读时，它们的学习过程也应该是多模态的。最近在实证多模态学习方面取得的显著成功突显了理解这一范式的重要性。然而，多模态学习的坚实的理论基础长期以来一直困扰着该领域。本研究基于 Lu (2023) 近期的研究结果，展示了多模态学习相对于单模态学习在样本复杂性上的优势，但还存在一个基本问题：多模态学习是否也在计算上具备优势？本文开始对多模态学习的计算益处进行研究。我们证明，在特定条件下，多模态学习在计算方面能够以指数级超越单模态学习。具体地，我们提出了一个对单模态学习而言是 NP-hard 的学习任务，但可以由多模态算法在多项式时间内解决。我们的构建基于对两个半空间交点问题的新颖修改。

    Sep, 2023

  • 多模态智能：表示学习、信息融合与应用

    本文综述了多模态智能领域中的各种模型和学习方法。主要关注点是视觉和自然语言模态的组合，涵盖了多模态表示学习、多模态信号融合以及多模态应用等方面，旨在为相关社群未来的研究提供参考。

    Nov, 2019

  • 多模态深度学习中的模态组合学习

    提出了基于深度神经网络的多模态学习方法，采用乘法结合不同来源的模态信息以提高性能，并通过过滤噪声和处理冲突来采取联合方法，扩展将不仅结合单一来源模态，而是一组混合来源模态，以更好地捕获跨模态信号相关性，取得了在不同领域的三个多模态分类任务中实验结果的改进。

    May, 2018

  • 学习未见过的模态交互

    本文针对多模态学习的完备性假设提出挑战，提出一种基于特征投影模块的解决方案，在推理过程中实现对看不见模态的泛化。同时使用伪监督来指示模态的预测可靠性。实验结果表明，该方法对于各种任务和模态具有很好的效果。

    Jun, 2023

  • 深度多模态数据分析的调查：协作，竞争和融合

    本文综述多模型数据分析的现有状况和未来方向，着重介绍了基于深度神经网络的多特征融合方法，这些方法的关键组成部分是协作，对抗训练和特征融合。

    Jun, 2020

  • 多模式分类网络训练的困难之处是什么？

    通过 Gradient Blending 技术实现不同多模态训练的优化，避免了其过度拟合的问题，从而取得多项基准测试任务的最新成果。

    May, 2019

  • 超越单一学习：整合多种认知方式对终身学习的重要性

    多模态持续学习中，多个视角和多模态的互补信息使模型学习到更准确、更稳健的表示，显著减轻遗忘，并通过利用各个模态之间数据点的关系结构相似性，提出了一种整合和对齐不同模态信息的方法。

    May, 2024