CVPRApr, 2017

从时间数据中进行深度多模态表征学习

PDF
TL;DR本文介绍了一种名为 Correlational Recurrent Neural Network（CorrRNN）的神经网络模型，该模型将多种时间序列数据进行合并，通过同时学习联合表示和模态之间的时间依赖关系来优化预测性能，并使用多个损失项和注意力模型来调整模态之间的贡献。实验证明了该模型在各种数据集上表现优越。
deep learningmultimodal learningcorrelational recurrent neural networktemporal fusionattention model
发现论文，激发创造
  • GeThR-Net: 通用时间混合循环神经网络用于多模态信息融合

    提出了一种新颖的深度神经网络架构，该架构能够智能地组合来自多种模态的时间流数据且表现优于目前最佳的多模态网络算法。

    Sep, 2016

  • 相关网络：用于动作识别的时空多模态深度学习

    本文介绍了一种网络，能够在任意时间戳上捕获多模态相关性，通过用莎侬融合法扩展了多模态卷积神经网络，提出了用相关网络学习预先训练的卷积神经网络的方法，并在 UCF-101 和 HMDB-51 数据集上进行实验，结果显示多模态相关性能够提高视频识别结果的准确性。

    Jul, 2018

  • 多模态非规则时间序列事件的特征融合框架

    本文提出了一种基于长短时记忆网络的多模态不规则时间序列事件的特征融合框架，能够提取复杂特征、捕捉非线性关系和时间依赖关系，并使用特征门控制不同张量的访问频率，实验证明该框架在 MIMIC-III 数据集上能显著优于现有方法。

    Sep, 2022

  • 使用深度神经网络进行相关时间序列预测：结果概述

    本文提出两种深度学习模型来准确预测相关时间序列，第一个模型在每个时间序列上使用卷积神经网络，第二个模型通过在每个时间序列上添加自编码器，实现了多任务学习。在两个现实世界的相关时间序列数据集上，实验证明所提出的两种模型有效且优于大多数基线。

    Aug, 2018

  • 循环多阶融合的多模态语言分析

    本研究提出了一种名为 RMFN 的循环多阶段融合网络，该网络以多元信号为输入，通过多个阶段递归地融合特定的信号子集，结合了循环神经网络以建模时间和模态内交互、建模跨模态交互。经实验证明，RMFN 在情感分析、情感识别和说话人特征识别等多模态任务上可以达到最先进的性能，并通过可视化方法证明了每个融合阶段都集中于不同的多模态信号子集上。

    Aug, 2018

  • 一个基于混合深度学习框架的视频分类多模态信息建模模型

    本文研究如何利用多模态线索来改进视频分类。我们提出了一个混合的深度学习框架，它将静态空间外观信息、短时间内的运动模式、音频信息以及长时序动态性等多个模态的线索集成起来，以捕捉它们之间的关系，并通过多次实验表明，该框架可以提高视频分类的准确度。

    Jun, 2017

  • 层次网络多粒度融合的跨模态相关学习

    本文提出了一种跨模态相关学习方法，通过层级网络的多粒度融合实现多级别关联，在保留内 - 外模态互补上下文的同时，采用多任务学习策略平衡内 - 外模态的约束，成功地将粗细模型进行融合以实现精确的跨模态相关性，实验结果表明我们的方法在多个数据集上表现出色。

    Apr, 2017

  • 多模态循环神经网络（m-RNN）实现的深度字幕生成

    本文提出了一种基于多模态循环神经网络的模型，用于生成图像标题，并在四个基准数据集上验证了该模型的有效性。

    Dec, 2014

  • 多模态条件注意力融合在情感维度预测中的应用

    该研究提出了一种名为条件注意融合的新型多模态融合策略，将长短期记忆循环神经网络应用为基础单模态模型，自动决定分配给不同情感模态的权重，获得了在情感价值预测方面优于多种常见融合策略的实验结果。

    Sep, 2017

  • Mirasol3B：面向时间对齐和上下文多模态自回归模型

    我们提出了一种多模态模型 Mirasol3B，通过自回归机制，将多媒体输入分别处理并建模，同时使用分段和合并机制来处理视频和音频序列的长依赖性，从而实现了在多模态基准测试上的最佳结果。

    Nov, 2023