高效多模态检索的组合相关量化
本文给出了一种紧凑的编码方案,使用量化方法实现跨模态搜索,通过联合学习图像和文本的量化器来实现。经过实验证明,该方法在三个基准数据集上实现了最先进的性能表现。
Feb, 2019
本文提出了一种共享预测深度量化(SPDQ)模型,通过嵌入到重现核希尔伯特空间中同时学习共享子空间和两个私有子空间的表示,以进行不同模态之间的最近邻搜索,并在标签对齐的帮助下实现语义保留。实验结果显示,该模型在两个流行的基准测试中优于现有的基准方法。
Apr, 2019
提出了一种高效的计算框架,用于将多模式数据散列成单一表示空间,使它们可以相互比较。该方法基于一种新的耦合孪生神经网络架构,并允许统一处理内部和跨模态相似性学习。与现有的跨模态相似性学习方法不同,我们的散列函数不仅限于二值化线性投影,并且可以呈现出任意复杂的形式。实验表明,该方法在多媒体检索任务中显著优于现有的散列方法。
Jul, 2012
本文提出了一种全局相似度度量方法 —— 中心相似度,并引入哈希中心的概念,在哈希空间内寻找离散且相互之间距离足够远的数据点,通过构建哈达玛矩阵和伯努利分布的方法实现哈希中心的有效构建,提出了一种优化数据点间哈希中心间中心相似度的方法 CSQ,此方法在图像和视频哈希场景中均适用,大规模的图像和视频检索实验表明,CSQ 可以为相似数据对生成连贯的哈希码,为非相似数据对生成离散的哈希码,在检索效率方面取得了 3%-20%的提升。
Aug, 2019
本文提出了一种新颖的无监督深度量化方法,名为具有代码内存的对比量化(MeCoQ),该方法通过对比学习学习无监督二进制描述符,可以更好地捕获有区别的视觉语义并避免模型退化。实验结果显示,该方法在基准数据集上优于现有最先进的方法。
Sep, 2021
本文提出了一种用于跨模态信息检索的混合深度架构,通过在辅助数据集中同时学习跨模态相关性和对齐数据集分布,生成异质多媒体检索的中间哈希代码,实验结果在公共数据集上表现为业内最先进的多媒体检索性能。
Aug, 2016
本研究提出了用于跨视图视频检索的混合对比量化(HCQ)方法,该方法通过引入 transformers 来学习粗粒度和细粒度量化,并在跨视图的多个细粒度层次上进行不对称量化对比学习(AQ-CL)以对齐文本和视频。 HCQ 方法在存储和计算方面表现出高效率,并展示了与最先进的非压缩检索方法相当的性能。
Feb, 2022
本文提出了一种跨模态相关学习方法,通过层级网络的多粒度融合实现多级别关联,在保留内 - 外模态互补上下文的同时,采用多任务学习策略平衡内 - 外模态的约束,成功地将粗细模型进行融合以实现精确的跨模态相关性,实验结果表明我们的方法在多个数据集上表现出色。
Apr, 2017
本文提出了一种压缩编码方法 —— 监督量化,该方法同时学习特征选择,将数据库点线性转换为低维判别子空间,并在转换空间中对数据点进行量化,使其不仅准确逼近转换点,而且在语义上是可分离的,该方法在几个标准数据集上的实验证明了其优于最先进的监督哈希和无监督量化算法。
Feb, 2019