AAAIDec, 2015

视频的多模态分布语义嵌入进行零样本事件检测

PDF
TL;DR本文提出了一种基于多模态分布语义嵌入的零样本事件检测方法，以视频为载体，将对象和动作等概念以及其他可用形式的多模态信息嵌入到分布语义空间中，实现了自由文本事件查询、概念属性的自动确定、视频检索等功能，在 TRECVID MED 大规模多媒体事件检测挑战中验证，有效性和速度均优于目前最先进的技术水平。
zero-shot event detectionmulti-modal distributional semantic embeddingvideo analysisfree text event querytrecvid med
发现论文，激发创造
  • 零样本事件检测的统一嵌入和度量学习

    本文提出一种基于视觉和文本模态下的事件检测与检索算法，该算法通过训练一个端到端的模型，使得文本和视觉的表示进入了一个联合空间，并且在该空间中，利用预定义的事件来表示新的事件，并实现了事件与相关视频之间的距离度量，该算法在 TRECVID Multimedia Event Detection 数据集上取得了明显的优越性能。

    May, 2017

  • 零样本事件检测的动态概念组合

    该研究旨在通过零样本学习自动检测视频中的事件，使用预先训练的概念分类器并学习对应权重以提高模型效果，在多个数据集上进行的实验表明该方法优于传统方法。

    Jan, 2016

  • 视频故事嵌入：在数据稀缺时识别事件

    本文提出了一种叫做 VideoStory 的语义视频表示方法，通过学习来自网络视频和其描述的嵌入来构建整个表示，同时通过多模态可预测性损失来提高描述性和可预测性，并利用术语敏感的描述性损失来识别没有例子的视频事件，从而在视频事件的少量和没有例子的识别方面提高了准确性。

    Nov, 2015

  • 面向音视频零样本分类和检索的联合多模态嵌入

    本文提出了一种基于视听多模态的零样本学习（ZSL）方法，针对视频进行分类和检索。作者证明了视听模态均对视频的 ZSL 非常重要，提出了一个利用已有大规模音频事件数据集构建的视听多模态数据集，并通过嵌入学习方法实现零样本分类和检索任务中加入音频模态的性能提升，并提出了一种新的方法来预测 ' 主导 ' 模态，从而证明了该视听多模态方法在未知测试类中仍具有推广能力。

    Oct, 2019

  • 用多模态查询在视频中定位事件

    本研究介绍了一个用于视频事件定位的多模态查询基准（ICQ），该基准以多模态语义查询为输入，包括一个描述事件的参考图像和一个用于调整图像语义的修正文本。通过对 4 种风格的参考图像和 5 种类型的修正文本进行系统评估，我们提出了 3 种适应方法，并评估了 10 种尺度的现有模型。我们认为这个基准是探索视频事件定位中多模态查询的初步步骤。

    Jun, 2024

  • TagBook: 无需监督的语义视频表示用于事件检测

    本文提出了一种基于社交标记视频的语义视频表示方法，通过简单的算法进行标记传播，用于零或少样本事件检测，并在三个数据集上表现出色。

    Oct, 2015

  • 跨模态表示学习用于零样本动作识别

    本篇研究提出了一种基于跨模态 Transformer 的框架，用于零样本动作识别，其将视频数据和文本标签进行联合编码，并通过一个新的管道来构建视觉和语义表示之间的共享知识空间，其中包括了一个语义传递的策略，通过将已有和未见的课程联合在一起，提高了在 UCF101、HMDB51 和 ActivityNet 基准数据集中的顶级准确度。

    May, 2022

  • 零样例视频检索的双重编码

    这篇论文提出了一种新的方案，采用双重深度编码网络，将视频和查询编码成强大的密集表示，并在零样本视频检索的三个基准测试中实现了最新的成果。

    Sep, 2018

  • 视频零样本动作识别：一项调查

    本论文介绍了零样本动作识别在视频方面的研究现状，总结了可视化特征提取和语义特征提取的方法，并提供了完整的数据集、实验和协议描述，指出了未来工作的方向。

    Sep, 2019

  • 零样本动作识别的语义嵌入空间

    本篇论文探讨零样本学习在现代视频动作识别任务中的应用，采用语义词向量空间作为视频和类别标签的共同空间来解决语义信息相对复杂，并且难以学习的问题。通过自我训练和数据增强等策略，大大提高了这种映射的有效性，在 HMDB51 和 UCF101 等人体动作数据集上，本方法实现了最新的零样本动作识别性能。

    Feb, 2015