MMAug, 2021

针对部分视频复制检测的视频相似度和对齐学习

PDF
TL;DR提出了 Video Similarity and Alignment Learning（VSAL）方法，通过模拟时空相似性和部分对齐来实现视频相似性学习，从而提高视频复制检测的准确率。通过在 VCDB 核心数据集上测试，证明 VSAL 的 F1 得分高于现有模型，并通过在 FIVR-200k 数据集上添加新的片段级注释来验证在更具挑战性的情况下的有效性。
video copy detectiontemporal similaritypartial alignmentsimilarity learningsegment-level annotations
发现论文，激发创造
  • 视频拷贝片段匹配的相似度对齐模型

    该研究报告揭示了我们提出的一种基于相似性对齐模型（SAM）的视频抄袭段匹配方法，该方法在 Meta AI 主办的视频相似性挑战中表现出比其他竞争对手更优异的性能。

    May, 2023

  • 学习暗示性时间对齐用于小样本视频分类

    本文提出了一种新的基于匹配的少样本学习策略，结合隐式时间对齐和上下文编码模块以及多任务损失，用于解决视频分类中在有限标注情况下空间 - 时间表征的学习问题，并在两个具有挑战性的基准测试中证明了其优越性。

    May, 2021

  • TransVCL: 带有注意力增强的视频拷贝定位网络及其灵活监督

    TransVCL 是一种注意力增强的视频复制定位网络，它通过跨序列特征引入长时序信息，利用自注意力和交叉注意力层直接优化帧级特征来精确定位视频检索应用中一对未剪辑视频内所有复制片段的位置，并在监督或半监督设置下以显著改进性能。

    Nov, 2022

  • 重新思考自监督对应关系学习：基于视频帧层面的相似性视角

    通过 Video Frame-level Similarity (VFS) 学习实现物体跟踪和视频对象像素分割的通用对应表示

    Mar, 2021

  • 大规模基于内容的视频检索中的片段相似性和对齐学习

    本文提出了一种用于大规模视频检索的片段相似度与对齐网络 (SSAN)，包含了两个新的视频检索模块：高效的自监督关键帧提取 (SKE) 模块和鲁棒的相似性模式检测 (SPD) 模块，通过联合训练实现了端到端的改进，在节省存储和计算成本的同时提高了对齐精度。

    Sep, 2023

  • 2023 视频相似性数据集与挑战

    该研究介绍了一个视频复制检测和定位的数据集、基准和挑战，该基准旨在评估方法，模拟真实场景，并提出了一个同时反映检测和定位精度的度量标准。相关的挑战包括两个对应的跟踪器，通过实现代码可供评估和基线，并公开了数据集、基线方法和评估代码，将在专门的 CVPR’23 研讨会上讨论。

    Jun, 2023

  • T2VLAD：文本 - 视频检索的全局 - 局部序列对齐

    本文主要设计了一种高效的全局 - 局部对齐方法，在共享的语义中心集合中，自适应地汇聚多模式视频序列和文本特征，并计算相同中心内的视频特征与文本特征之间的局部交叉模态相似性，从而实现了细致的局部比较，同时降低了交互成本。此外，还提出了一种全局对齐方法，并在三个标准的文本 - 视频检索基准测试中取得了一致的改进和领先的效果。

    Apr, 2021

  • 使用无监督学习局部和全局特征实现视频对齐

    本文介绍一种无监督的视频对准方法，通过人体检测、姿态估计、VGG 网络等机器视觉工具提取并结合构建多维时间序列，利用 Diagonalized Dynamic Time Warping (DDTW) 算法对相同动作的视频进行对齐，采用新型评价指标 Enclosed Area Error (EAE) 显示本文方法在视频对齐任务和相位分类任务上均优于之前最先进的方法 (TCC 等)。

    Apr, 2023

  • 面向片段级视频复制检测的大规模综合数据集和重叠复制感知评估协议

    本研究介绍 VCSL（Video Copy Segment Localization），一种新的综合分段注释视频副本数据集，包含两个数量级更多的、真实的 160k 视频拷贝对、280k 以上的本地化复制段对，并提出了一种新的评估协议，在不同场景中表现出更好的适应性。通过采用该数据集和新的评估指标来评估几种基准和最先进的分段级别视频副本检测方法，我们提供了全面的分析，揭示了当前方法的优点和缺点，旨在开拓未来工作的有前途的方向。

    Mar, 2022

  • ViSiL: 细粒度时空视频相似性学习

    本文介绍了 ViSiL，一种视频相似性学习架构，它考虑了视频对之间的细粒度时空关系，包括了相似性评估之前的整个帧或整个视频的向量描述。通过卷积神经网络，我们从提炼的帧间相似性矩阵中计算视频间相似度，以同时考虑帧内和帧间的相似性。我们的方法避免了在帧之间的相似度计算之前进行特征聚合。我们使用三元组损失方案训练提出的网络，并在五个公共基准数据集上评估它，其中涵盖了四种不同的视频检索问题，结果表明，我们的方法比现有技术取得了显着的进步。ViSiL 的实现公开可用。

    Aug, 2019