Jul, 2017

聚合帧级特征用于大规模视频分类

PDF
TL;DR该研究介绍了在大规模 YouTube-8M 数据集上定义的多标签分类问题的系统的开发，其中使用了多种技术来聚合提供的帧级特征表示并生成视频级预测，包括多种变体的循环神经网络和广义 VLAD，以及多种融合策略来探索模型间的互补性。在官方指标 GAP@20 中，我们最佳的融合模型在公共测试数据的 50% 上达到了 0.84198，在私人测试数据的 50% 上达到了 0.84193，在 650 支队伍中排名第 4。
发现论文，激发创造
  • 高效视频标注的深度学习方法

    我们提出了三个模型家族的集成模型来解决 “Google Cloud 和 YouTube-8M 视频理解挑战”，训练使用增强数据集并配合交叉验证，最终排名第 5。

    Jun, 2017

  • UTS 提交给 Google YouTube-8M Challenge 2017

    该研究提出了一种结合视频级别和帧级别特征识别的混合模型方法，使用循环神经网络、注意力机制和 1D 卷积模型实现帧级别分类，并使用集成模型在私人测试数据集上实现 GAP 0.8408 的分类效果。

    Jul, 2017

  • 在 YouTube-8M 数据集上进行多标签视频分类的方法

    利用 NetVLAD 和 NetFV 模型，使用 Huber 损失函数和 YouTube-8M 数据集实现视频分类问题，采用各种技术和优化方法，最终得到 GAP 得分 0.8668。

    Aug, 2018

  • 大规模 YouTube-8M 视频理解的时间建模方法

    该论文介绍了我们的解决方案，用于 Google Cloud 和 YouTube-8M 视频理解挑战的视频识别任务，我们通过各种时间建模方法对帧级特征进行聚合以提高多标签视频识别的准确性，并在 Kaggle 的公共测试集上取得了 82.75% 的性能提升。

    Jul, 2017

  • 视频分类的非本地化 NetVLAD 编码

    本文介绍了我们在 Google AI 组织的第二届 YouTube-8M 视频理解挑战中的解决方案，该方案利用非本地操作实现了多个子模型的融合来有效地执行视频分类任务。

    Sep, 2018

  • 大规模视频片段分类的 BERT 及测试时间增强

    本研究基于框架级模型、BERT 模型以及测试时增强等方式，在第三届 YouTube-8M 视频理解比赛中，针对标签的本质出现时间对视频级标签进行了定位，并在 4M 的训练视频级数据和 237K 的注释视频段级数据上进行了预训练和微调，使模型在私人测试视频段数据上取得了 0.7871 的 MAP@100K，排名第 9 个。

    Dec, 2019

  • 层级深度循环架构用于视频理解

    本篇论文介绍了我们在 Youtube-8M 视频理解挑战中开发的系统，采用了规模庞大的基准数据集进行多标签视频分类。我们使用分层深度架构提出了两种注意池化方法并采用了集成学习方法，在公开测试集上达到了 GAP 0.84346 的成绩。

    Jul, 2017

  • NeXtVLAD：一种高效的神经网络，用于聚合基于帧的特征，实现大规模视频分类

    介绍了一种快速高效的网络结构 NeXtVLAD，用于将帧级特征聚合成一个紧凑的特征向量以进行大规模视频分类，在第二个 Youtube-8M 视频理解挑战中，单个 NeXtVLAD 模型只使用少于 80M 的参数就实现了 0.87846 的 GAP 分数，在 394 个团队中排名第 3。

    Nov, 2018

  • 视频级标签时间定位的多注意力网络

    本文提出一种多注意力机制的模型来解决视频理解中的时间定位问题，模型结合了多个注意力网络、深度帧模型、循环神经网络和卷积神经网络，并基于多实例多标签学习和 attention 权重来加强对视频中重要帧的关注，从而在 YouTube-8M Video Understanding Challenge 中取得了较好的成绩。

    Nov, 2019

  • YouTube-8M Kaggle 竞赛：挑战和方法

    本文介绍了我们参加 YouTube-8M 视频理解挑战的经历和成果，并提供了基于帧级数据的机器学习问题的深入分析和解决方案。我们通过统一平均的多剪辑集成方法，只使用提出的策略就实现了前十名的成绩，同时也介绍了一些有潜力但时间不足无法训练到收敛的方法。希望本文能起到对 YouTube-8M 多标签视频分类基准的一定回顾和指导作用，激发未来尝试和研究的灵感。

    Jun, 2017