Sep, 2017

电影故事理解的读写记忆网络

HTML
PDF
TL;DR我们提出了一种名为Read-Write记忆网络 (RWMN) 的新型记忆网络模型，用于大规模、多模态电影故事理解的问答任务。我们的RWMN模型的重点是设计读取网络和写入网络，由多个卷积层组成，从而使内存读取和写入操作具有高容量和灵活性。采用多层CNN的读写方式，更合理地表示顺序故事，从而实现了顺序存储的表达。我们应用模型到MovieQA基准测试的六个任务中，取得了最好的正确率，尤其是在视觉问答任务上。我们的模型表现出更好地理解故事中的内容，以及角色之间的关系和他们行动背后的原因的潜力。
发现论文，激发创造
  • 通过观看电影和阅读图书，使书籍与电影结合：朝着故事般的视觉解释

    本文旨在利用神经嵌入和上下文敏感的卷积神经网络将电影与小说对齐，以提供更广泛的语义性内容解释，为视觉内容提供详细的描述信息，为此我们展示了良好的定量性能和多样性的任务示例。

    Jun, 2015

  • 视觉和文本问答的动态记忆网络

    本文通过分析动态记忆网络并提出多项改进，包括一种新的图像输入模块，实现在缺乏支持事实的情况下回答问题，该新型DMN + 模型成功应用于视觉问答数据集和文本问答数据集上，且无需支持事实监督。

    Mar, 2016

  • DeepStory: 基于深度内嵌记忆网络的视频故事问答

    通过使用大量卡通视频学习，我们展示了AI代理执行视频故事问答的可能性。我们的深度嵌入记忆网络(DEMN)模型使用观测数据的潜在嵌入空间重构场景-对话视频流中的故事，并将视频故事存储在长期记忆组件中。对于给定的问题，基于LSTM的注意力模型使用长期记忆来召回包含关键信息的特定单词的最佳问题-故事-答案三元组。我们在一个新的儿童卡通视频系列Pororo的QA数据集上训练了DEMN，并且实验结果表明DEMN在QA上优于其他模型，这主要得益于1）利用潜在嵌入对场景-对话组合形式的视频故事进行重构,2）使用了注意力。DEMN还在MovieQA基准测试上实现了最先进的成果。

    Jul, 2017

  • 电影问答：记住分层视觉内容的文本提示

    本论文提出采用分层记忆网络来对电影进行理解，利用静态词记忆模块以及动态字幕记忆模块来表示帧级和片段级的电影内容，成功提高了电影问题回答任务的效果，证明了分层记忆网络的有效性和电影表示形式的潜力。

    Apr, 2018

  • 视频故事问答的多模态双重关注记忆

    本研究提出一种视频故事问答架构，名为Multimodal Dual Attention Memory （MDAM）。使用双重注意机制，结合自我注意力和注意力机制在场景帧和字幕中学习潜在的概念，并在双重注意力处理后执行多模态融合，从而学习从整个视频内容的抽象中推断出高级视觉语言联合表示。在PororoQA和MovieQA数据集上，该模型均取得了新的最优结果，并通过消融研究验证了双重注意机制与后期融合的最佳性能。

    Sep, 2018

  • 电影故事问答的渐进式注意力记忆网络

    本文提出了一种用于电影故事问答的渐进式注意力记忆网络(PAMN)，通过使用渐进式注意力机制、动态模态融合和置信度校正回答方案来解决电影故事问答中的难题，实现了在公开基准数据集MovieQA和TVQA上的最佳结果。

    Apr, 2019

  • 基于上下文嵌入的故事检索简化版影片

    本研究旨在通过提取电影的关键场景进行长距离理解电影的故事结构，创建了由超过3,000部电影中的关键场景组成的简化电影数据集（CMD），其中每个场景都附有场景的高级语义描述、角色面部轨迹和有关电影的元数据，提供了文本到视频检索的深度网络基线，并展示了从其他视频剪辑中添加联系如何提高检索性能。

    May, 2020

  • 视频SemNet：带有内存增强的视频语义网络

    该研究通过提出一种机器学习方法，介绍了一种记忆增强视频语义网络来捕捉电影中的叙事元素，从而在两个任务中成功预测电影的流派和IMDB评分。

    Nov, 2020

  • 叙述 XL: 用于长期记忆模型的大规模数据集

    提出了一种通过GPT 3.5从Project Gutenberg中的书籍总结场景并创建阅读理解问题的方法，用于创建可以训练和评估长期记忆语言模型的数据集，并经过人工和模型的实验验证，证明该数据集可以诊断模型的记忆容量，并且不是现代语言模型的简单问题。

    May, 2023

  • 电影聊天+: 针对长视频问答的问题感知稀疏记忆

    基于Atkinson-Shiffrin记忆模型与Transformer中的记忆承载器，通过特殊设计的记忆机制，无需额外的可训练时序模块，使用零-shot方法将预训练的多模态大型语言模型应用于理解长视频，提出了MovieChat，实现了长视频理解的最新性能，并发布了包含1K个长视频、2K个时序对齐标注和14K个手动注释验证方法有效性的MovieChat-1K基准。

    Apr, 2024