Apr, 2023

解释多模态数据融合：野外地图制作中的遮挡分析

PDF
TL;DR本研究提出了一种深度学习框架，用于对多模式地球观测数据进行模态级别的解释。该框架利用可解释的机器学习方法，即遮挡敏感性，研究了模态在学习过程之前融合的情况下对模型决策的影响，并证明了荒野映射任务受到土地覆盖和夜间光数据等辅助数据的极大益处。
发现论文，激发创造
  • 深度学习多模态数据融合中对抗样本的脆弱性研究

    探究了目前多模态融合模型是否利用补充信息来防御对抗攻击，通过在 MFNet 上应用 FGSM 和 PGD 等对抗攻击进行实验验证，发现多模态融合模型在对抗攻击方面仍然存在脆弱性。

    May, 2020

  • 深度多模态数据分析的调查：协作，竞争和融合

    本文综述多模型数据分析的现有状况和未来方向，着重介绍了基于深度神经网络的多特征融合方法，这些方法的关键组成部分是协作，对抗训练和特征融合。

    Jun, 2020

  • 单一与综合多光谱航空影像的融合

    使用混合架构，通过从合成孔径感测得到的整体空中图像和传统空中图像提取最重要的特征，以消除由于茂密植被引起的遮挡。该方法结合了环境的空间参考和无遮挡目标的特征，不需要手动调整参数，可以扩展到任意数量和组合的光谱通道，可根据不同用例进行重新配置，超越了现有技术。

    Nov, 2023

  • 遥感应用中深度多视角融合的常见实践和分类方法

    本研究旨在回顾地球观测的多视角融合模型的文献，并整合总结相关术语和方法，其中涉及了利用神经网络模型的有监督学习。通过该研究，希望此文献能够促进未来研究并推动该领域的统一进步。

    Dec, 2022

  • 探讨多模式城市制图中 SAR 和光学利用之间的不平衡

    使用双分支深度神经网络和切断机制研究城市地图中 SAR 和光学数据的利用，发现传统的 SAR - 光学数据融合方法虽然达到了良好的性能，但光学数据的利用存在明显的不足。因此，需要进一步研究 SAR 和光学数据的更加平衡的利用是否能够提高性能。

    Apr, 2023

  • OmniSat：地球观测自监督模态融合

    利用地球观测数据的多模态性质，提出了一种无监督多模态学习方法 OmniSat，可用于改进森林学、土地覆盖分类和农作物映射等任务，并在半监督和全监督设置下获得更好的性能。

    Apr, 2024

  • 遥感数据融合的不完全多模态学习

    本文提出了一种新颖的不完整多模态学习模型，结合双向 LSTM 注意力和掩蔽自注意机制来收集多模态信号，利用重构和对比损失来促进预训练中的融合，能在处理数据不完整输入时达到当前最佳性能水平。

    Apr, 2023

  • 低质量数据的多模态融合：全面调查

    基于低质量数据的多模态融合面临四个主要挑战：噪声多模态数据，不完整多模态数据，不平衡多模态数据和质量变化多模态数据。本文通过全面的分类对多模态融合的常见挑战和最新进展进行调研，为研究人员提供了了解该领域现状和发现潜在研究方向的方法。此外，本文还讨论了该领域的开放问题以及有趣的未来研究方向。

    Apr, 2024

  • 通过投影网络对具有异构维度的数据进行深度多模态融合

    本研究提出了一种新颖的基于深度学习的多模态数据融合框架，具有异构维度（例如 3D+2D）的兼容定位任务的能力，并在地理萎缩和视网膜血管分割任务上取得了优于现有单模态方法的结果。

    Feb, 2024

  • 基于深度学习的多模态医学图像分类信息融合技术综述

    多模医学成像在临床诊断和研究中起着关键作用，深度学习多模态融合技术在提高医学图像分类方面显示出强大的工具。本综述对基于深度学习的医学分类任务中的多模态融合的发展进行了彻底分析，包括不同融合方案和网络架构的性能评估，讨论了相关挑战和未来研究方向。

    Apr, 2024