MMSep, 2023

通过特征解耦和互信息最大化进行视频侵权检测

PDF
TL;DR自媒体时代提供了大量高质量的视频，然而，频繁的视频版权侵权行为严重损害了视频创作者的利益和热情。本文从两个方面解决了该问题：（1）我们提出将原始高维特征分解为多个子特征，明确地将特征分解为互斥的低维分量，以期删除冗余信息；（2）在分解的子特征之上，我们进一步学习了一个辅助特征以增强子特征，通过理论分析标签与分解特征之间的互信息，得到了最大程度从原始特征中提取任务相关信息的损失函数。在两个大规模基准数据集（即 SVD 和 VCSL）上进行了大量实验，结果表明我们的方法在大规模 SVD 数据集上达到了 90.1％的 TOP-100 mAP 并且在 VCSL 基准数据集上创造了新的最先进性能。希望我们的代码和模型能贡献给社区。
self-mediavideo copyright infringementdeep neural networksdisentangled sub-featuresmutual information
发现论文，激发创造
  • 通过互信息估计学习解缠表示

    本文研究学习分离表现形式的问题，提出一种基于互信息估计的模型，用于捕捉数据的共享和独占组件，并强制实现表现形式分离，在共享或独占部分基础上实现图像分类和图像检索，结果表明相对于基于 VAE/GAN 方法的最先进模型，本文提出的模型表现更加出色。

    Dec, 2019

  • 视频中动作、前景和背景特征的分离

    本文介绍了一种非监督框架来提取视频表征的语义丰富特征，并提出了一个深度卷积神经网络来分离运动、前景和背景信息。实验结果表明，该网络可以在视频中成功分割前景和背景，并基于分离的运动特征更新前景外观。此处提供的预训练方法可以优于随机初始化和自动编码器预训练，促进了区分性分类任务。

    Jul, 2017

  • 多视角自监督解缠结通用图像降噪

    通过多角度自监督解缠方法 (MeD)，本文在合成噪声和真实噪声的实验分析中展现了该方法在未见过的新噪声类型上相对于之前的自监督方法的卓越性能。在真实噪声上，该方法的性能甚至超过了其监督对照组超过 3 dB。

    Sep, 2023

  • 基于互信息最大化的实时无人机跟踪学习解耦表示

    利用互信息最大化的分解表示学习（DR-MIM）来进一步提高无人机跟踪的深度学习（DL-based）跟踪器的精确度和效率。通过将特征分解为与身份相关和与身份无关的特征，仅使用后者，从而增强下一步的分类和回归任务的特征表示效果。广泛的实验表明，我们的 DR-MIM 跟踪器在四个无人机数据集上明显优于现有无人机跟踪方法。

    Aug, 2023

  • 视频深度信息最大化表示学习

    本文介绍一种名为 Video Deep InfoMax (VDIM) 的自监督学习方法，将原 DeepInfoMax 扩展至视频领域，其利用内部结构构建视图，并利用这些视图进行预测任务，从而实现对 UCF-101 数据集的行为识别任务的 SoTA 预测结果。

    Jul, 2020

  • 通过分离表示学习进行人脸反欺骗

    本文提出了一种新型的人脸反欺诈方法，旨在通过解缠活体特征和内容特征从图像中提取最终进行分类的活体特征，并采用卷积神经网络和低层级和高层级监控的结合来提高其泛化能力，并在公共基准数据集上进行了充分的实验结果验证。

    Aug, 2020

  • 通过最大化视角间相互信息来学习表示

    该研究提出了一种基于最大化共享环境的多视角特征提取之间的互信息来进行自我监督表示学习的方法，并通过使用该方法建立一个模型，该模型学习到的图像表示在 ImageNet 等任务上的表现优于以前的方法。

    Jun, 2019

  • 面向视觉集合扩展的自监督多视角解缴技术

    本文介绍了一种自我监督学习的方法，用于提取图像的特征向量，并将其组合用于图像搜索引擎的检索算法中。这种方法能有效地减少特征重叠，提高查询的精确性。

    Feb, 2023

  • 自监督对比学习的约束多视图表示

    基于表示距离的互信息最大化方法用于量化不同视图的重要性，进而实现更高效的对比学习和表示解耦。通过在频率域提取多视图表示，并基于不同频率之间的互信息重新评估其重要性，本文提出的框架能够有效约束互信息最大化驱动的表示选择，推动多视图对比学习。

    Feb, 2024

  • 使用独立预测来分离视频

    我们提出了一种无监督的变分模型，用于将视频转换为独立因素，每个因素的未来可以从其过去预测，而无需考虑其他因素。我们展示了我们的方法常常学习到可解释为场景中对象的因素。

    Jan, 2019