本文提出了一种简单的神经网络模块，名为 Multimodal Transfer Module（MMTM），它能够在 CNN 特征层次结构的不同层级上进行慢速模态融合，利用多模态知识校准每个 CNN 流中的通道特征，用于特征模态融合的卷积层具有不同的空间尺寸。该方法具有最小的网络结构更改，可用于初始化每个分支的现有预训练权重，实验结果显示，我们的框架提高了知名多模态网络的识别准确性。

Nov, 2019

本文提出了一种基于长短时记忆网络的多模态不规则时间序列事件的特征融合框架，能够提取复杂特征、捕捉非线性关系和时间依赖关系，并使用特征门控制不同张量的访问频率，实验证明该框架在 MIMIC-III 数据集上能显著优于现有方法。

Sep, 2022

该研究提出了一种交互式多模态融合技术，可在保留各自模态特征的同时，更好地融合来自不同模态的知识，以实现更好的链接预测效果，并在多个真实世界数据集上进行了实证评估。

Mar, 2023

多模医学成像在临床诊断和研究中起着关键作用，深度学习多模态融合技术在提高医学图像分类方面显示出强大的工具。本综述对基于深度学习的医学分类任务中的多模态融合的发展进行了彻底分析，包括不同融合方案和网络架构的性能评估，讨论了相关挑战和未来研究方向。

Apr, 2024

通过多模态神经后验估计（MultiNPE）方法，我们整合来自不同来源的异构数据，利用神经网络进行基于模拟的推断。通过受到注意力机制深度融合学习的启发，研究人员能够分析来自不同领域的数据，通过增加精确性来推断复杂数学模型的参数。我们为 MultiNPE 提出了不同的多模态融合方法（早期、晚期和混合），并在三个具有挑战性的数值实验中评估其性能。MultiNPE 不仅在基准模型上优于基准方法，而且在神经科学和心脏病学的代表性科学模型中实现了更好的推断。此外，我们还系统地研究了部分数据缺失对不同融合策略的影响。在不同的实验中，晚期和混合融合技术成为多模态基于模拟的推断的实际应用的首选方法。

Nov, 2023

研究了如何通过人工注释对多模态交互进行分类，提出了信息分解方法，比较了部分标签和反事实标签的机会和限制，并提出了一种自动转换方法以量化多模态数据集中的交互

Jun, 2023

本文综述多模型数据分析的现有状况和未来方向，着重介绍了基于深度神经网络的多特征融合方法，这些方法的关键组成部分是协作，对抗训练和特征融合。

Jun, 2020

传统机器学习方法主要用于基于单一数据类型进行预测，然而实际应用可能涉及各种类型的数据，如文本、图像和音频。我们引入了可解释的张量融合（InTense），这是一种多模态学习方法，用于训练神经网络同时学习多模态数据表示和其可解释的融合。InTense 能够分别捕捉不同数据类型的线性组合和乘法相互作用，从而解开高阶相互作用和每种模态的单独影响。InTense 通过给予模态和它们的关联以相关性得分，从而提供了可解释性。该方法在理论上有基础，并且在多个合成和真实数据集上得到了有意义的相关性得分。在六个真实世界数据集上的实验证明，InTense 在准确性和可解释性方面均优于现有的多模态可解释方法。

May, 2024

基于低质量数据的多模态融合面临四个主要挑战：噪声多模态数据，不完整多模态数据，不平衡多模态数据和质量变化多模态数据。本文通过全面的分类对多模态融合的常见挑战和最新进展进行调研，为研究人员提供了了解该领域现状和发现潜在研究方向的方法。此外，本文还讨论了该领域的开放问题以及有趣的未来研究方向。

Apr, 2024

为了实现准确的多元时间序列（MTS）预测，我们重新考虑了互信息的角度下的序列内部关系和序列之间的关系，并相应地构建了一个全面的关系学习机制，用于同时捕捉复杂的多级序列内部和序列间的耦合关系。基于该机制，我们提出了一种名为 DeepCN 的新型深度耦合网络，它由一个耦合机制、一个耦合变量表示模块和一个推理模块组成，分别用于同时探索时间序列数据中的多级序列内部和序列间关系、编码多样的变量模式，以及通过单个前向步骤进行预测。在七个真实数据集上进行的大量实验表明，我们提出的 DeepCN 相较于最先进的基准方法具有更出色的性能。

Feb, 2024