Feb, 2017

信息融合的门控多模单元

PDF
TL;DR本文介绍了一种基于门控神经网络的多模式学习新模型，称为 Gated Multimodal Unit (GMU) 模型，该模型用于在神经网络结构的内部单元中学习如何将来自不同模式的数据进行组合，并可用于电影类型分类中，通过使用剧情和电影海报的信息，模型在多标签情况下显著提高了单模式方法的性能，并优于其他的融合策略，同时提供了一个新的多模式数据集 MM-IMDb 用于电影类型分类的研究.
multimodal learningneural networksgmu modelgenre classificationmm-imdb dataset
发现论文，激发创造
  • 基于门控信息融合网络的鲁棒性深度多模态学习

    本文提出了一种在存在不完善模态的情况下设计稳健的深度多模态学习体系结构的方法 - 通过使用深度融合架构进行目标检测，并使用带有门控信息融合网络调节贡献权重进行构建，以实现具有抗干扰性的性能表现提高，对于 KITTI 数据集的单发探测器（SSD），本文通过数据增强方案和提出的融合网络取得了显著的性能提升。

    Jul, 2018

  • 一种基于图形的多模态融合编码器在神经机器翻译中的应用

    本论文提出了一种新型的基于图的多模态融合编码器，用于多模态神经机器翻译（NMT）中利用不同模态语义单元之间的细粒度语义对应关系，以优化多模态表示学习，并在 Multi30K 数据集上验证了模型的卓越性能。

    Jul, 2020

  • 基于多粒度信息融合的社交媒体多模态假新闻检测

    文章介绍了一种用于检测假新闻的多粒度多模态融合网络模型，并将模型性能与现有方法进行了比较。

    Apr, 2023

  • 跨模态门控注意力融合用于多模态情感分析

    提出了 CMGA，即跨模态门控注意力融合模型，用于多模态情感分析，证明其在 MOSI 和 MOSEI 两个基准数据集上具有优异的性能，并展示了模型内不同组件的作用。

    Aug, 2022

  • 基于生成的融合机制的多模态追踪

    通过使用生成模型的融合机制，本研究在多模态跟踪中展示了生成模型的潜力，并通过实验证明该方法取得了最新的性能记录。

    Sep, 2023

  • MMTM:CNN 融合的多模态转移模块

    本文提出了一种简单的神经网络模块，名为 Multimodal Transfer Module（MMTM），它能够在 CNN 特征层次结构的不同层级上进行慢速模态融合，利用多模态知识校准每个 CNN 流中的通道特征，用于特征模态融合的卷积层具有不同的空间尺寸。该方法具有最小的网络结构更改，可用于初始化每个分支的现有预训练权重，实验结果显示，我们的框架提高了知名多模态网络的识别准确性。

    Nov, 2019

  • IMF：交互式多模态融合模型用于链接预测

    该研究提出了一种交互式多模态融合技术，可在保留各自模态特征的同时，更好地融合来自不同模态的知识，以实现更好的链接预测效果，并在多个真实世界数据集上进行了实证评估。

    Mar, 2023

  • 实体链接的多粒度多模态交互网络

    本文提出了一种名为多维多模态交互网络（MIMIC）的框架，用于解决多模态实体链接（MEL）任务，并通过对相互作用单元和对比学习的设计，将简洁文本和隐含视觉线索的精细表示结合起来，实现了更好的性能，超过了各种最先进的基准模型。

    Jul, 2023

  • 动态多模态融合

    本文提出了一种动态多模态融合的方法，可以在预测过程中根据数据的不同需求自适应地融合多模态数据，从而有效地减少计算成本，并在多个多模态任务上获得了良好的效果，这为动态多模态网络设计开辟了一条新的方向。

    Mar, 2022

  • UMLS 知识图谱上的多模态图学习

    机器学习在医生对病人的发展趋势获得洞察力方面受到越来越多的关注。我们提出了一种名为多模态 UMLS 图神经网络学习（MMUGL）的新方法，用于使用基于统一医学语言系统的知识图上的图神经网络学习医学概念的有意义的表示。这些表示被聚合表示整个病人就诊情况，然后输入到序列模型中以在病人的多次医院就诊的粒度上进行预测。我们通过整合先前的医学知识并考虑多种模态来提高性能。我们将我们的方法与用于不同粒度上学习表示的现有架构在 MIMIC-III 数据集上进行比较，并展示出我们的方法优于这些方法。结果表明了基于先前的医学知识的多模态医学概念表示的重要性。

    Jul, 2023