Aug, 2019

Moviescope: 利用多种模态分析电影的大规模研究

PDF
TL;DR本文旨在比较不同类型的视觉、音频、文本和基于元数据的特征对于预测电影的高层信息（如类型或预计预算）的有效性，并介绍了一个新的 Moviescope 数据集，该数据集包括 5000 部电影以及对应的预告片、海报、剧情和元数据。作者实证了在深度学习时代，基于内容的方法相对于基于人类和基于元数据的预测方法在该领域的有效性，并探究了表示视频和文本的时间特征聚合方法的有效性。此外，研究团队还展示了不同模态之间互补性的程度，并发现简单池化操作在该领域是有效的。
movievisual/audio/text/metadata-based featurescontent-based methodstemporal feature aggregationmoviescope dataset
发现论文，激发创造
  • 从预告片到剧情：从电影中高效学习的方法

    该研究通过设计视觉模块和时间分析模块，提出了一种从电影数据中学习视觉模型的替代方法，可以通过预告片学习视觉模块，通过电影数据学习时间分析模块，大大减少学习成本的同时还能够保留长期的时间结构和有效的视觉特征。

    Jun, 2018

  • 多模态分类分析社交媒体

    本研究使用池化层和辅助学习任务进行多模态社交媒体数据分类，具有良好的鲁棒性和高准确性，并与传统融合方法相比有着显著的优势。

    Aug, 2017

  • Movies2Scenes: 使用电影元数据学习场景表征

    使用对电影的元数据进行对比学习，提出了一种学习通用场景表征的方法，并在多个基准数据集上验证了该方法的有效性，尤其是在 LVU 数据集中，平均改进了 7.9% 的分类任务和 9.7% 的回归任务。此外，还使用一个新收集的电影数据集，将该方法在一组视频广告任务上的表现与现有技术进行了比较。

    Feb, 2022

  • 基于多模态深度模型的电影情感反应预测

    本研究旨在开发和分析多模态模型，预测观众观看电影片段时的情感反应。研究发现，通过提取 RGB 帧和光流的特征以及音频中的各种低级描述符，采用深度神经网络模型来进行情感预测更为精确。其中，光流特征比 RGB 视频更加信息含量丰富，且音频特征的预测精度高于视频特征。

    Sep, 2019

  • 一种多模态电影场景分割的从局部到全局的方法

    为了对电影进行语义理解，提出了一种局部到全局的场景分割框架，其中包含来自三个级别的多模态信息。通过预先训练 MovieScenes 数据集，该框架能够从长片的分层时间结构中提取复杂语义，提供自上而下的场景分割指导，并在实验中取得了高精度的场景分割表现。

    Apr, 2020

  • MovieNet: 电影理解的全面数据集

    本文介绍了 MovieNet，这是一个综合数据集，包括 1100 部电影，大量多模态数据以及详尽的手动注释，可以被用于全面理解电影。

    Jul, 2020

  • 电影中的视觉场景识别

    该研究提出了一种新的电影中的视觉场景分析方法，通过自动分类电影剧本和网络数据集，对电影片段进行弱标注，在该数据集上训练出预训练模型并取得显著的视觉场景和流派分类效果。

    Oct, 2022

  • 从视觉和声音模态获取无文本情感的可扩展多模态情感分类

    本文介绍了一种多模态融合模型，该模型专门使用高级视频和音频特征来分析口语句子的情感。该模型在 CMUMOSEI 数据集上进行了训练和测试，并获得了验证集上的 F1 得分 0.8049 和挑战测试集上的 F1 得分 0.6325。

    Jul, 2018

  • 包含视频的文档的多模式摘要

    本文提出了一种基于文档和相关视频的新型多模态摘要任务，并构建了一个基于 bi-hop attention 和改进的 late fusion 机制的双流摘要模型，旨在同时处理文本和视频摘要。实验结果表明，该模型有利于多模态摘要且优于现有方法，同时构建了一个新的文档和视频数据集作为未来研究的资源。

    Sep, 2020

  • 多模态方法在视频评论的细粒度情感分析中的应用

    本研究提出了一种多模态方法，从视频评论中挖掘细粒度意见，并且无需时间注释，利用音频、视频和语言转录的特征来确定评论中讨论的物品方面以及情感倾向。我们在两个数据集中验证了该方法，并表明利用视频和音频模态能够提高性能，从而更好地理解视频评论。

    May, 2020