ECCVOct, 2023

无监督视频检索的双流知识保持哈希

PDF
TL;DR通过将视频信息分解为重建相关信息和语义相关信息，我们设计了一个双流结构，其中包括一个时间层和一个哈希层。在自监督学习中获得的语义相似性知识的帮助下，哈希层学习捕捉用于语义检索的信息，而时间层学习捕捉用于重建的信息。这样，模型自然地将解耦的语义保留为二进制代码。在全面的实验验证中，我们的方法在三个视频基准上持续优于现有技术。
unsupervised video hashingreconstruction-dependent informationsemantic-dependent informationdual-stream structuresemantic retrieval
发现论文，激发创造
  • 使用分层二元自编码器进行自监督视频哈希

    本文提出了一种新颖的无监督视频哈希框架 Self-Supervised Video Hashing (SSVH)，通过设计编码器 - 解码器体系结构以及使用二进制自动编码器来捕获视频序列的时间性质，将视频嵌入二进制代码并赋予其准确的视频检索能力，通过 FCVID 和 YFCC 两个真实数据集上的实验表明，我们的 SSVH 方法可以显著优于现有技术并在无监督视频检索任务上达到最佳性能。

    Feb, 2018

  • 对比遮蔽自编码器用于自监督视频哈希

    本研究提出了名为 ConMH 的一阶段自监督视频哈希方法，该方法通过采用编码器 - 解码器结构重构视频以捕获视频语义信息，并通过最大化两个视频增强视图之间的协议以充分利用视频之间 的相似性关系。实验结果表明 ConMH 方法在大规模视频数据集上表现出色，是当前最佳方法之一。

    Nov, 2022

  • CHAIN: 探索全球 - 局部时空信息以改进自监督视频哈希

    通过对视频进行二进制编码可以提高检索速度并减少存储开销，本文提出了一种新的自监督视频哈希方法，通过对全局时空信息和局部时空细节的学习，生成对于运动、尺度和视点不变的哈希码。实验证明，该方法在四个视频基准数据集上优于现有方法。

    Oct, 2023

  • 深度监督离散哈希

    本文提出一种基于深度学习的监督离散哈希算法，利用分类信息和成对标签信息在单流框架中学习哈希码，并通过交替最小化方法进行优化，实验结果表明该方法在基准数据集上优于当前最先进的方法。

    May, 2017

  • 具有语义不变结构的深度协作离散哈希

    本文提出了一种双流学习框架，称为深度协作离散哈希（DCDH），该框架通过协同地将视觉特征和语义标签中的共享和个人语义合并，构建了一种判别性离散空间，从而生成上下文感知表示，再通过联合学习视觉表示和语言，添加标签重构和中心焦点损失以建立共同的二进制编码空间。大量实验证明了该方法的优越性。

    Nov, 2019

  • 深度多视图增强哈希用于图像检索

    本文中提出了一种结合多视角和深度学习的、能够显著提高哈希检索性能的新型多视角哈希模型，该模型在 CIFAR-10、NUS-WIDE 和 MS-COCO 数据集上系统地评估，结果表明本方法明显优于现有的单视角和多视角哈希方法。

    Feb, 2020

  • 文本视频双编码检索

    本文提出了一种新的视频检索方法，采用双重深度编码网络进行多级编码，将视频和查询作为两种模态编码为向量，同时结合好的可解释性和性能的高性能的概念空间和潜在空间来进行深空间学习，经实验证明了方法的可行性。

    Sep, 2020

  • 无监督语义深度哈希

    本文提出了一种名为无监督语义深度哈希（USDH）的新型无监督深度哈希方法，使用卷积神经网络学习特征和哈希码，并利用 CNN 特征层中保留的语义信息来指导网络训练。在 CIFAR-10，NUSWIDE 和 Oxford 17 数据集上进行了广泛实验，结果表明 USDH 相较于其他无监督哈希方法更加有效。

    Mar, 2018

  • 零样例视频检索的双重编码

    这篇论文提出了一种新的方案，采用双重深度编码网络，将视频和查询编码成强大的密集表示，并在零样本视频检索的三个基准测试中实现了最新的成果。

    Sep, 2018

  • 基于联合时空相关性探索的学习型视频压缩

    本文提出使用一阶光流和二阶流预测来利用时间相关性进行视频编码，采用一阶段学习方法将流作为连续帧的量化特征包装，然后利用联合空间 - 时间先验条件下的适应性上下文熵编码，并使用 ConvLSTM 逐层嵌入联合先验，分别从自回归空间邻居、共位置超元素和时间邻居中获取。本文的实验评估表明，该方法在常用的测试序列上取得了最先进的表现结果。

    Dec, 2019