Jul, 2018

基于门控信息融合网络的鲁棒性深度多模态学习

PDF
TL;DR本文提出了一种在存在不完善模态的情况下设计稳健的深度多模态学习体系结构的方法 - 通过使用深度融合架构进行目标检测，并使用带有门控信息融合网络调节贡献权重进行构建，以实现具有抗干扰性的性能表现提高，对于 KITTI 数据集的单发探测器（SSD），本文通过数据增强方案和提出的融合网络取得了显著的性能提升。
发现论文，激发创造
  • 多模态深度学习中的模态组合学习

    提出了基于深度神经网络的多模态学习方法，采用乘法结合不同来源的模态信息以提高性能，并通过过滤噪声和处理冲突来采取联合方法，扩展将不仅结合单一来源模态，而是一组混合来源模态，以更好地捕获跨模态信号相关性，取得了在不同领域的三个多模态分类任务中实验结果的改进。

    May, 2018

  • 基于深度学习的多模态医学图像分类信息融合技术综述

    多模医学成像在临床诊断和研究中起着关键作用，深度学习多模态融合技术在提高医学图像分类方面显示出强大的工具。本综述对基于深度学习的医学分类任务中的多模态融合的发展进行了彻底分析，包括不同融合方案和网络架构的性能评估，讨论了相关挑战和未来研究方向。

    Apr, 2024

  • 深度学习多模态数据融合中对抗样本的脆弱性研究

    探究了目前多模态融合模型是否利用补充信息来防御对抗攻击，通过在 MFNet 上应用 FGSM 和 PGD 等对抗攻击进行实验验证，发现多模态融合模型在对抗攻击方面仍然存在脆弱性。

    May, 2020

  • 基于多模态卷积神经网络的医学图像分割：图像融合方案研究

    本文提出了在监督医学图像分析中进行图像融合方案的概念架构，实现了基于卷积神经网络的三种图像融合方案，并将其结合成单个框架，用于同时分析多模式图像，检测软组织肉瘤的存在，并发现在特征级别融合的情况下，性能最好，但当任何图像模式存在大误差时，其鲁棒性会降低。

    Oct, 2017

  • 使用不确定性的信息数据选择在多模式物体检测中

    本研究提出了一种基于深度学习的通用不确定性感知多模态融合模型，该模型采用多管道宽松耦合架构将点云和图像特征进行组合，并将不确定性嵌入在边界框生成中，以生成可靠的输出，在 KITTI 2D 物体检测数据集和其衍生的 “脏数据” 中得到了验证。

    Apr, 2023

  • 基于多粒度信息融合的社交媒体多模态假新闻检测

    文章介绍了一种用于检测假新闻的多粒度多模态融合网络模型，并将模型性能与现有方法进行了比较。

    Apr, 2023

  • 一个基于混合深度学习框架的视频分类多模态信息建模模型

    本文研究如何利用多模态线索来改进视频分类。我们提出了一个混合的深度学习框架，它将静态空间外观信息、短时间内的运动模式、音频信息以及长时序动态性等多个模态的线索集成起来，以捕捉它们之间的关系，并通过多次实验表明，该框架可以提高视频分类的准确度。

    Jun, 2017

  • 多模态多损失融合网络

    通过多模态特征的最优选择和融合，并结合神经网络以提高情感检测，我们比较了不同的融合方法，并研究了多损失训练对多模态融合网络中子网络性能的影响，发现了与子网络性能相关的有用发现。我们的最佳模型在三个数据集（CMU-MOSI、CMU-MOSEI 和 CH-SIMS）中达到了最先进的性能，并在大多数指标上优于其他方法。我们发现在多模态特征上进行训练可以提高单模态测试的性能，并且基于数据集注释模式设计融合方法可以增强模型性能。这些结果表明了在神经网络中优化特征选择和融合方法以增强情感检测的路线图。

    Aug, 2023

  • 信息融合的门控多模单元

    本文介绍了一种基于门控神经网络的多模式学习新模型，称为 Gated Multimodal Unit (GMU) 模型，该模型用于在神经网络结构的内部单元中学习如何将来自不同模式的数据进行组合，并可用于电影类型分类中，通过使用剧情和电影海报的信息，模型在多标签情况下显著提高了单模式方法的性能，并优于其他的融合策略，同时提供了一个新的多模式数据集 MM-IMDb 用于电影类型分类的研究.

    Feb, 2017

  • 多模导向网络用于缺失模态推断

    提出了一种通过引导网络在训练阶段促进知识共享，利用多模式表示训练用于推理的更好的单模式模型，以解决存在缺失模式的多模态模型应用受限和过高计算成本的问题。通过真实生活中的暴力检测实验证明，所提出的框架训练的单模式模型明显优于传统训练的模型，并且推理成本相同。

    Sep, 2023