AAAIFeb, 2018

多视角序列学习的记忆融合网络

PDF
TL;DR本文提出了一种名为 Memory Fusion Network (MFN) 的神经结构，通过特殊的 attention 机制 Delta-memory Attention Network (DMAN) 以及多视图门控记忆来显式地涵盖多视图序列中的视图间及视图内交互，并在多个公开数据集上展现出优于其他现有模型的表现，成为新的多视图数据集的最佳模型。
发现论文，激发创造
  • 异步双视角序列学习的双重记忆神经计算机

    该论文探讨了一个新的记忆增强神经网络模型，以模拟两个异步序列视图之间的复杂互动，并使用存储器来捕捉视图内关系和长期依赖。结果表明，该模型在多视角问题上的性能优于传统算法和深度学习方法。

    Feb, 2018

  • MVFNet: 高效视频识别的多视角融合网络

    本文提出了一种基于 2D CNN 骨干网络的新的多视图融合（MVF）模块，用于视频动作识别中的时空建模，并利用可分离卷积实现了高效处理，实验结果表明，该方法在不降低识别精度的情况下降低了模型复杂度。

    Dec, 2020

  • 记忆门循环神经网络

    提出了一种称为 Memory-Gated Recurrent Networks 的新颖递归网络结构，用于提取复杂的多元时间序列数据中的关联性，并通过全面的模拟和实证实验证明了其应用优越性。

    Dec, 2020

  • 视频问答与检索的联合序列融合模型

    本文提出了一种名为 JSFusion（联合序列融合）的方法，可以测量多模式序列数据（例如视频剪辑和语言句子）之间的语义相似性，并通过发现两个序列模态之间的隐藏分层匹配来计算它们的相似度得分，该模型适用于多模式检索和视频 QA 等任务，并在多个数据集上超过了现有的许多最先进的方法。

    Aug, 2018

  • 循环多阶融合的多模态语言分析

    本研究提出了一种名为 RMFN 的循环多阶段融合网络，该网络以多元信号为输入，通过多个阶段递归地融合特定的信号子集，结合了循环神经网络以建模时间和模态内交互、建模跨模态交互。经实验证明，RMFN 在情感分析、情感识别和说话人特征识别等多模态任务上可以达到最先进的性能，并通过可视化方法证明了每个融合阶段都集中于不同的多模态信号子集上。

    Aug, 2018

  • 跨领域序列推荐的混合注意力网络

    我们提出了一种混合注意力网络（MAN），其中包括局部和全局注意力模块，用于提取领域特定和跨领域信息。实验结果表明，我们的模型在两个真实数据集上具有优越性，同时进一步研究也证明了我们提出的方法和组件分别是模型无关和有效的。

    Nov, 2023

  • 视频语义分割的时间记忆注意力

    该研究提出了一种基于自我注意力机制和长远时间关系的 Temporal Memory Attention Network（TMANet），来达到视频语义分割的最佳性能，尤其在 Cityscapes 和 CamVid 数据集上表现出新的最佳性能，并且避免了消耗大量计算资源的精确光流建模的缺点。

    Feb, 2021

  • 合作记忆网络用于推荐系统

    本文章提出了一种名为 Collaborative Memory Networks (CMN) 的深度神经网络，可以有效地结合 latent factor model 和 local neighborhood-based structure，而不是单纯地使用 latent factor model，以提高协同过滤推荐系统的精度和效率。实验结果表明，CMN 在三个公共数据集上优于竞争基线。

    Apr, 2018

  • 用于视频字幕的多模态记忆建模

    本文提出了一种多模态记忆模型 (M3)，利用视觉和文本共享的记忆来建模长期的视觉 - 文本依赖关系并进一步引导全局的视觉注意力，该方法在公开基准数据集上的实验证明，相比于最先进的方法，本文提出的方法在 BLEU 和 METEOR 方面表现较好。

    Nov, 2016

  • 基于记忆网络的基于故事的 360° 视频时间摘要方法

    我们提出一种名为过去 - 未来记忆网络模型（PFMN）的方法来解决 360 度视频的基于故事的时间摘要问题。我们通过计算来自输入视频的 81 个普通视场（NFOV）区域建议的分数，并利用两个外部记忆存储先前选择的子镜头和未来候选子镜头的嵌入，从而恢复潜在的汇总。我们的实验结果表明，我们的模型在 Pano2Vid，360 度视频和基于图像的 VIST 数据集上均取得了最先进的表现。

    May, 2018