Jun, 2024

MDA: 可解释的多模态融合模型与缺失模态和内在噪音

PDF
TL;DR提出了一种新的多模态融合框架，通过引入模态域注意力（MDA）实现对每种模态权重的自适应调整，旨在促进多模态信息的融合，同时允许包含缺失的模态或本质噪声，从而增强多模态数据的表示。通过观察模态融合过程，提供了准确性变化和 MDA 权重的可视化，对其可解释性进行了全面分析。在各种胃肠疾病基准测试上进行了广泛实验证明，所提出的 MDA 即使存在缺失的模态和本质噪声时也能保持高准确性。
发现论文，激发创造
  • 红外和可见光图像融合的多尺度信息融合框架

    我们提出了一种多尺度双注意 (MDA) 框架，用于红外和可见光图像融合，在图像和块级别测量和整合互补信息，并通过损失函数在结构和特征级别进行融合。

    Dec, 2023

  • 医疗数据的多模态融合架构启用缺失模态

    本研究旨在开发一种对医疗数据具有鲁棒性的高效多模态融合架构，并进一步提高疾病诊断的性能。实验证明，我们提出的多模态融合架构有效地融合了三种模态并对缺失模态表现出较强的鲁棒性。该方法有望扩展到更多模态以增强模型的临床实用性。

    Sep, 2023

  • M2DA：多模态融合 Transformer 结合驾驶员注意力用于自动驾驶

    提出了一种多模态融合变压器，结合驾驶员注意力用于自动驾驶，通过 Lidar-Vision-Attention-based Fusion 模块更好地融合多模态数据，并实现不同模态之间更高的对齐，同时结合驾驶员的注意力，赋予自动驾驶车辆类似于人类的场景理解能力，准确识别复杂场景中的关键区域，确保安全。在 CARLA 模拟器上进行实验，以较少的数据在闭环基准测试中取得了最先进的性能。

    Mar, 2024

  • 缺失模态插值的统一多模态图像合成

    该论文提出了一种新的统一的多模式图像综合方法，包括通过生成敌对网络从任意可用模式的组合中合成丢失的模态，并使用共性和差异敏感编码器及动态特征统一模块来提高图像合成质量和适应性，实验结果表明该方法在处理多种综合任务时具有优越的性能。

    Apr, 2023

  • 基于梯度引导的模态解耦用于缺失模态的鲁棒性

    本文介绍了一种使用渐变指示器和梯度引导方法来解决多模态学习中的缺失模态和模态主导性的问题，同时设计了一种动态共享框架来处理模态不完整的数据，并在三个多模态基准数据集上进行了实验证明了该方法的有效性。

    Feb, 2024

  • 多模态数据增强用于端到端语音识别

    本文提出了一种新的端到端自动语音识别（ASR）架构，可以利用符号输入和传统的声学输入进行训练，该架构使用两个单独的编码器：一个用于声学输入，另一个用于符号输入，并共享注意力和解码器参数；通过研究不同的方法将大型文本语料库转换成符号形式进行训练，我们的最佳 MMDA 设置不仅可以在字符错误率（CER）上获得小的改善，而且在基线上，无论是否有外部语言模型，均可以获得 7-10％相对词错误率（WER）的改进。

    Mar, 2018

  • DrFuse: 临床多模态融合学习非配备模态和模态不一致性的解耦表示

    将电子健康档案（EHR）和医学影像相结合对临床医生在诊断和预测预后中至关重要。作者提出了一种名为 DrFuse 的方法，通过分离跨模态的共享特征和每个模态内的独特特征来解决缺失模态和模态不一致的问题，在真实世界的大规模数据集上验证了该方法的有效性并超越了现有模型。

    Mar, 2024

  • 复杂脑部疾病预测的不完整多模态学习

    本文提出了一种新的不完全多模态数据整合方法，利用变压器和生成对抗网络，利用辅助模态数据来提高单模态模型的性能，并将其应用于预测阿尔茨海默病的认知退化和疾病结果。

    May, 2023

  • 低质量数据的多模态融合：全面调查

    基于低质量数据的多模态融合面临四个主要挑战：噪声多模态数据，不完整多模态数据，不平衡多模态数据和质量变化多模态数据。本文通过全面的分类对多模态融合的常见挑战和最新进展进行调研，为研究人员提供了了解该领域现状和发现潜在研究方向的方法。此外，本文还讨论了该领域的开放问题以及有趣的未来研究方向。

    Apr, 2024

  • 跨模态蒸馏在工业异常检测中的应用：高效多模态 IAD 的探索

    提出了 CMDIAD 框架用于多模态工业异常检测，并通过生成跨模态幻觉来解决缺失模态的问题，探究了以点云或 RGB 图像作为主要推理模态时的性能改善原因，为制造场景中的高效异常检测奠定了基础。

    May, 2024