Sep, 2016

YouTube-8M: 大规模视频分类基准

PDF
TL;DR该论文介绍了一个由 4800 个可视实体组成，由 8 百万个视频（500k 小时的视频）组成的最大多标签视频分类数据集 YouTube-8M，并通过训练各种分类模型和评估它们来作为基准。
computer visionmachine learningvideo classificationdatasetyoutube-8m
发现论文，激发创造
  • 针对 YouTube-8M 数据集的多标签视频分类的视频和标签先验编码

    本文介绍了针对 YouTube-8M 数据集进行多标签视频分类的深度神经网络模型，包括帧编码器、分类层、标签处理层和损失函数，并讨论了现有模型在该数据集上的效果及其成功或失败的原因，所提出的模型的大部分性能都高于基线模型，并且最终的模型集合在 Kaggle 比赛中排名第 8。

    Jun, 2017

  • 高效视频标注的深度学习方法

    我们提出了三个模型家族的集成模型来解决 “Google Cloud 和 YouTube-8M 视频理解挑战”，训练使用增强数据集并配合交叉验证，最终排名第 5。

    Jun, 2017

  • 使用视频、音频和文本进行真正的多模态 YouTube-8M 视频分类

    该研究通过引入文本数据将视频分类问题转化为多模态任务，并针对该任务提出了一种分类框架，结合视觉、音频和文本特征进行研究探究。实验结果表明，利用文本特征可提高分类准确率。

    Jun, 2017

  • 在 YouTube-8M 数据集上进行多标签视频分类的方法

    利用 NetVLAD 和 NetFV 模型，使用 Huber 损失函数和 YouTube-8M 数据集实现视频分类问题，采用各种技术和优化方法，最终得到 GAP 得分 0.8668。

    Aug, 2018

  • 利用深度神经网络进行大规模 YouTube-8M 视频理解

    本文基于 YouTube-8M 大规模数据集，提出了三种视频分类模型，分别基于帧池化和 LSTM 网络，第三个模型使用 Experts 混合中间层以增加模型容量，并进行了一系列处理不平衡训练数据的实验。

    Jun, 2017

  • 聚合帧级特征用于大规模视频分类

    该研究介绍了在大规模 YouTube-8M 数据集上定义的多标签分类问题的系统的开发，其中使用了多种技术来聚合提供的帧级特征表示并生成视频级预测，包括多种变体的循环神经网络和广义 VLAD，以及多种融合策略来探索模型间的互补性。在官方指标 GAP@20 中，我们最佳的融合模型在公共测试数据的 50% 上达到了 0.84198，在私人测试数据的 50% 上达到了 0.84193，在 650 支队伍中排名第 4。

    Jul, 2017

  • Batch Normalized LSTM 引导的大规模视频分类

    该论文提出一种基于深度循环神经网络的在线学习方法，将标签视为单词，用于视频的多标签分类，通过对输入的随机门控和批量归一化的采用进一步改进了模型，有效提高了在 Youtube-8M 数据集上的识别结果。

    Jul, 2017

  • YouTube-BoundingBoxes: 一个大规模高精度的经人工注释数据集，用于视频物体检测

    本文介绍了一个新的大型数据集 YT-BB，其中包括大量视频 URL 和密集采样的物体边界框注释，从而提供了视频对象检测和跟踪等领域的基准数据集和发展方向。

    Feb, 2017

  • YouTube-8M Kaggle 竞赛：挑战和方法

    本文介绍了我们参加 YouTube-8M 视频理解挑战的经历和成果，并提供了基于帧级数据的机器学习问题的深入分析和解决方案。我们通过统一平均的多剪辑集成方法，只使用提出的策略就实现了前十名的成绩，同时也介绍了一些有潜力但时间不足无法训练到收敛的方法。希望本文能起到对 YouTube-8M 多标签视频分类基准的一定回顾和指导作用，激发未来尝试和研究的灵感。

    Jun, 2017

  • UTS 提交给 Google YouTube-8M Challenge 2017

    该研究提出了一种结合视频级别和帧级别特征识别的混合模型方法，使用循环神经网络、注意力机制和 1D 卷积模型实现帧级别分类，并使用集成模型在私人测试数据集上实现 GAP 0.8408 的分类效果。

    Jul, 2017