Jul, 2014

网络视频标签细化和定位的数据驱动方法

PDF
TL;DR本文介绍了一种自动视频标注的方法，该方法可以增加用户提供的标签数量，并将其临时本地化，将标签与关键帧关联起来。我们的方法利用用户生成的标签和 web 来源中的集体知识，以及上传到社交网站和 web 来源的关键帧和图片的视觉相似性。与需要为每个标签训练分类器的现有视频标记方法相比，我们的系统具有较少的参数，易于实现，并且可以处理开放词汇的场景。我们在 DUT-WEBV 上展示了该方法，该数据集是一个大型的网络视频数据集，结果显示出最先进的结果。
taggingvisual contentuser-generated tagsautomatic video annotationlocalization
发现论文，激发创造
  • 用文字转录结果定位物体检测

    本文提出一种自动从指示视频中提取实体 - 视频帧对的方法，以用于创建任务特定的训练集元算法。

    Jun, 2019

  • 视频字幕及其应用的综合方法

    本研究通过关键帧识别和允许用户平衡速度和准确率的设计，使用深度学习算法对长视频进行编码，提高速度并减少计算量，以实现视频字幕深度学习应用。

    Jan, 2022

  • 视频分类和关键帧识别的半监督和深度学习框架

    本文提出了两种半监督方法以自动化视频流中的场景分类和筛选关键帧。所提出的框架可用于增加的视频数据流，以最少的训练图像自动训练感知驱动系统。

    Mar, 2022

  • 基于选择和细化的视觉跟踪视频注释

    提出了一种新的框架，利用选择和细化策略自动改进跟踪算法生成的初始注释，包括一个时间评估网络和一个视觉几何改进网络，它们共同提供了一个原则性的方法来确保自动视频注释的质量，并且在大规模跟踪基准测试中表现出高度准确性。

    Aug, 2021

  • 利用网络爬虫视频的弱监督语义分割

    本文提出一种基于图像级别类别标签的弱监督语义分割算法，利用 Web 存储库中有关目标类别标签的视频检索并从检索到的视频中生成分割标签以模拟语义分割的强监督，该算法明显优于现有的同等监督方法，甚至与依赖额外标注方法的方法一样有竞争力。

    Jan, 2017

  • 视频重新本地化

    提出了视频重新本地化任务以解决语义相应问题，并构建一个新的数据集，基于跨门控双线性匹配模型对查询视频进行权重匹配，解决了开始和结束时间的分类问题，在视频监控等多个领域具有重要应用。

    Aug, 2018

  • 用户提供的标签用于图像分类和检索

    该研究提出了一种从用户提供的标签中直接学习图像分类的方法，使用大规模的分类算法和校准过程来分析 Flickr 100 Million Image 数据集。结果表明，与昂贵的手动注释相比，免费可用的用户标签可以获得类似或更优异的结果。

    Nov, 2014

  • 视频文字弱监督对齐

    本文提出了一种方法来自动对齐视频和文本，并使用向量特征将其视为时间分配问题，最终得出整数解决方案，这在对齐视频与符号标签方面取得了显着的改进并在具有相关文本说明的挑战性数据集上进行了评估。

    May, 2015

  • 基于注意力机制的深度神经网络关键帧提取

    本文提出了一种基于深度自动编码器模型和注意力层的关键帧检测方法，该方法首先使用自动编码器的编码器部分从视频帧中提取特征，并使用 K-means 聚类算法对这些特征和相似帧进行分割，然后从每个簇中选择与簇中心最接近的帧作为关键帧，该方法在 TVSUM 视频数据集上达到了 0.77 的分类准确率，对于视频分析领域中的关键帧提取具有良好的应用前景。

    Jun, 2023

  • 增强上下文感知的视频摘要

    视频摘要是一个至关重要的研究领域，旨在从当今海量视频内容中高效浏览和检索相关信息。尽管视频摘要的重要性，缺乏多样化和有代表性的数据集阻碍了算法的全面评估和基准测试。为了克服数据稀缺的挑战并改进评估，我们提出了一种利用视频数据结构和信息生成信息摘要的无监督方法。此外，我们还引入了一种专门用于视频摘要的创新评估流程。实验结果表明，我们的无需训练的框架优于现有的无监督方法，并与最先进的监督方法取得竞争性结果。

    Apr, 2024