2023 视频相似性数据集与挑战
本文介绍 Meta AI 在 CVPR 2023 Video Similarity Challenge 中的优胜方案,提出了一种利用视频剪辑检测和帧场景检测结合的双层检测方法来解决视频复制检测的核心挑战,实验结果表明了该方法的有效性和高效性。
May, 2023
提出了视频重新本地化任务以解决语义相应问题,并构建一个新的数据集,基于跨门控双线性匹配模型对查询视频进行权重匹配,解决了开始和结束时间的分类问题,在视频监控等多个领域具有重要应用。
Aug, 2018
本文介绍了一个大规模图像相似性检测的新基准(ISC2021),目的是检测查询图像是否是参考样本集(大小为 1 百万) 中任何图像的修改副本,并提供了各种图像变换以模拟出现在社交媒体中的实际问题,以便解决有关虚假信息和不良内容的完整性问题,并根据一组基线方法的性能来校准其难度,预计该基准将促进图像拷贝检测。
Jun, 2021
该研究报告揭示了我们提出的一种基于相似性对齐模型(SAM)的视频抄袭段匹配方法,该方法在 Meta AI 主办的视频相似性挑战中表现出比其他竞争对手更优异的性能。
May, 2023
本论文介绍了我们在 Meta AI 视频相似性挑战赛(VSC2022)的 Descriptor Track 和 Matching Track 中的第三名解决方案,该竞赛旨在检测视频副本。我们的方法建立在现有的图像复制检测技术之上,并采用多种策略利用视频数据的特性,从而得到了一个简单而强大的解决方案。通过采用我们提出的方法,我们在准确性方面取得了相当大的改进,与基线结果相比(Descriptor Track:41%的改进,Matching Track:76%的改进)。
Apr, 2023
本研究介绍 VCSL(Video Copy Segment Localization),一种新的综合分段注释视频副本数据集,包含两个数量级更多的、真实的 160k 视频拷贝对、280k 以上的本地化复制段对,并提出了一种新的评估协议,在不同场景中表现出更好的适应性。通过采用该数据集和新的评估指标来评估几种基准和最先进的分段级别视频副本检测方法,我们提供了全面的分析,揭示了当前方法的优点和缺点,旨在开拓未来工作的有前途的方向。
Mar, 2022
提出了 Video Similarity and Alignment Learning(VSAL)方法,通过模拟时空相似性和部分对齐来实现视频相似性学习,从而提高视频复制检测的准确率。通过在 VCDB 核心数据集上测试,证明 VSAL 的 F1 得分高于现有模型,并通过在 FIVR-200k 数据集上添加新的片段级注释来验证在更具挑战性的情况下的有效性。
Aug, 2021
本文提出了一种基于语义相似性的视频检索方法,它允许多个视频和标题被视为同等相关,并且排名的顺序不影响检索性能比较,同时,它还提出了多种估计语义相似性的方法,以适应大规模检索数据集。本文在三个常用视频检索数据集上分析了该方法的表现。
Mar, 2021
本文提出了一个特征鲜明的 Image copy detection(图片复制检测)基准测试集,包括添加了具有强扰动性的 hard negative queries,作者进一步阐述了度量学习和 ICD 之间的对称 - 非对称的冲突,并提出了一种新的学习方法:Asymmetrical-Similarity Learning (ASL),该方法不同于以往度量学习采用的对称距离,它允许两个方向上的相似度(查询图片 <-> 参考图片)彼此不同。ASL 的实验结果表明其在硬负样本图像复制检测上的性能明显优于同类方法。
May, 2022
本研究提出了一种多分支检索方法,通过组合全局描述符和局部描述符来应对大规模数据以及图像复制攻击的挑战,其中包括丰富的数据增强和自监督学习等优化策略,并引入了鲁棒性较强的 SIFT 特征和 GPU Faiss 进行局部检索,在使用 KNN 匹配算法来判断匹配和合并分数时,我们展示了一些我们方法的消融实验,揭示了全局和局部特征的互补优势。
Dec, 2021