Sep, 2023

新闻故事理解中的视频时间轴建模

PDF
TL;DR本研究提出了一个新颖的问题，即视频时间轴建模，目的是通过一组与特定主题相关的视频创建与视频相关的时间轴，从而促进对所讲述故事的内容和结构的理解。通过构建一个现实的基准数据集 YouTube-News-Timeline，并提出了一套量化指标来全面评估和比较方法，我们进一步开发和评估了探索性的深度学习方法来解决这个问题。我们预计这项开拓性工作将为视频时间轴建模的进一步研究铺平道路。
video timeline modelingvideo-associated timelinereal-world applicationsnews story summarizationexploratory deep learning approaches
发现论文，激发创造
  • 大规模 YouTube-8M 视频理解的时间建模方法

    该论文介绍了我们的解决方案，用于 Google Cloud 和 YouTube-8M 视频理解挑战的视频识别任务，我们通过各种时间建模方法对帧级特征进行聚合以提高多标签视频识别的准确性，并在 Kaggle 的公共测试集上取得了 82.75% 的性能提升。

    Jul, 2017

  • 学习在大规模视频数据中本地化时间事件

    该研究提出了两种方法来解决大规模视频数据中事件的时间定位问题，一种是采用梯度提升决策树模型，另一种是采用基于帧级数据、视频级数据和定位模型的深度学习模型组合，在第三届 Youtube-8M 视频识别挑战中获得第 5 名。

    Oct, 2019

  • 视频（语言）建模：自然视频生成模型的基线

    本文提出了一种用于无监督特征学习的视频数据的强基线模型，通过学习预测输入视频序列中缺少的帧或外推未来帧，该模型发现了对于表示复杂变形和运动模式有用的空间和时间相关性，并且是借鉴语言建模文献，通过将图像补丁的空间量化为一个大字典，适应了视觉领域。我们在填充和生成任务上演示了该方法。第一次，我们展示了在自然视频上训练后，这样一个模型可以预测短视频序列中的非平凡运动。

    Dec, 2014

  • 综合视频理解：基于内容的视频推荐器设计的视频摘要

    该论文将视频摘要提出了内容为基础的推荐问题，使用可扩展的深度神经网络在显式建模的片段和视频上进行预测，通过场景和动作识别来寻找视频理解任务不同方面之间的相关性，同时讨论音频和视觉特征在总结任务中的影响，并通过数据增强和多任务学习来防止模型过度拟合。该模型最终在 ICCV 2019 CoView Workshop Challenge Track 中获得第一名。

    Oct, 2019

  • 扩展任务提示的网络新闻时间线生成

    通过对传统提示技术进行扩展，我们的研究在各种新闻数据集上证明了增强提示效果的有效性，使新闻时间线生成成为专业使用的实际工具，并已部署为公开可访问的浏览器扩展程序。

    Nov, 2023

  • 多模态新闻理解与专业标注视频

    通过对 ReutersViLNews 数据集进行大规模分析，我们发现新闻导向的视频对当前视频语言理解算法构成了重大挑战，并提供了未来解决 ReutersViLNews 数据集的方法。

    Jan, 2024

  • 建模语义变化生成时间线

    本研究同时使用静态和时变词嵌入来衡量事件对词汇的影响，通过创建历史转折点的时间轴来了解目标词的演化，定量评估结果表明这种技术可以捕捉语义变化和事件影响。

    Sep, 2019

  • 利用深度神经网络进行大规模 YouTube-8M 视频理解

    本文基于 YouTube-8M 大规模数据集，提出了三种视频分类模型，分别基于帧池化和 LSTM 网络，第三个模型使用 Experts 混合中间层以增加模型容量，并进行了一系列处理不平衡训练数据的实验。

    Jun, 2017

  • 按时间轴生成摘要和抽取式时间轴摘要

    本论文提出了一种统一的时间轴摘要生成器 (UTS)，它可以按时间顺序生成抽象和抽取式时间轴摘要，其中图形事件编码器和事件级关注机制是关键组成部分，实现了最先进的性能水平。

    Jan, 2023

  • 长短期记忆视频摘要

    本文提出了一种针对视频进行自动化重点帧或子镜头选择的新型监督学习技术，其将问题视为顺序数据上的结构化预测问题，主要想法是利用 LSTM（长短时记忆），该专用网络类型可模拟视频摘要任务中包含的可变范围依赖性，详细分析证明了模型设计的合理性，通过引入领域适应技术，我们还介绍了应对训练复杂学习模型所需大量注释数据需求的技术。

    May, 2016