Nov, 2014

跨模态相似性学习：一种低秩双线性表达

PDF
TL;DR本研究提出一种基于交叉模态相似性学习算法的跨媒体特征匹配方法，通过双线性约束和核范数惩罚实现低秩表示，并应用加速迭代最小化算法实现快速收敛。实验结果表明，在三个知名的图像 - 文本跨媒体检索数据库中，本方法较之现有算法具有更佳性能。
cross-media retrievalmetric learningcross-modal similaritybilinear formulationmultimedia data
发现论文，激发创造
  • 跨模态检索综述

    本文对异构数据检索问题进行了探讨，综述并分类了已有的交叉检索方法，包括基于实值表示学习和基于二进制表示学习的方法，并介绍了多个常用的多模态数据集以及比较不同方法的实验结果。

    Jul, 2016

  • 多模态相似性学习

    本文提出了一种基于多核学习以及基于图的过滤技术的方法，将多媒体数据中的多种模态融合到单一的相似度空间中，以解决多媒体数据中的主观问题和不一致问题。

    Aug, 2010

  • 跨模态多任务正则化深度度量学习

    本文提出了 CDMLMR 方法，该方法以多任务正则化的方式融合四元组排名损失和半监督对比损失，用于建模跨模态语义相似性；与现有方法相比，该方法不仅利用了相似性排名信息，还利用了未标记的跨模态数据，从而提高了跨模态检索准确性。

    Mar, 2017

  • 通过学习和转移单模相似度实现对抗性跨模检索

    本文提出了一种名为交叉模态相似性转移的方法，以无监督的方式学习和保持不成对但语义上相似的数据项目之间的联系，并在类别和对排序检索任务中表现出了优于现有技术的结果。

    Apr, 2019

  • 跨模态相似性搜索的协作量化

    本文给出了一种紧凑的编码方案，使用量化方法实现跨模态搜索，通过联合学习图像和文本的量化器来实现。经过实验证明，该方法在三个基准数据集上实现了最先进的性能表现。

    Feb, 2019

  • 保持语义领域对稳健跨模态检索的影响

    本篇研究提出了一种方法，使用特定的 loss 函数，在保持图像和文本子空间内的语义连贯性的同时鼓励它们之间的语义协同，并改进了基线模型，以实现跨模态检索。

    Jul, 2020

  • 多模态相似性保持哈希

    提出了一种高效的计算框架，用于将多模式数据散列成单一表示空间，使它们可以相互比较。该方法基于一种新的耦合孪生神经网络架构，并允许统一处理内部和跨模态相似性学习。与现有的跨模态相似性学习方法不同，我们的散列函数不仅限于二值化线性投影，并且可以呈现出任意复杂的形式。实验表明，该方法在多媒体检索任务中显著优于现有的散列方法。

    Jul, 2012

  • 跨模态系统是否利用语义关系？

    该论文提出一种新的语义相似度评估指标 SemanticMap 来评估跨模态检索系统的性能，并且提出了基于单流网络的新型跨模态检索系统，该系统使用深度神经网络训练，并在 MSCOCO 和 Flickr30K 数据集上进行了评估。

    Sep, 2019

  • BiCro: 双向交叉模态相似性一致性纠正多模态数据的噪声对应关系

    该研究提出了一种名为 BiCro 的框架，可提高交叉模态匹配模型的噪声鲁棒性，通过估计噪声数据对应度的软标签来训练匹配模型。实验结果表明，该方法明显提高了各种匹配模型的抗噪声能力，并领先于同类研究成果。

    Mar, 2023

  • 可学习的基于支柱的图像 - 文本重排序

    本文提出了一种新的可学习的基于框架的重新排序范式，该范式可以捕捉图片和文本之间的邻居关系，提高单模态检索任务的性能。实验结果表明，该范例具有很好的鲁棒性和推广性能力，并且可以在不同的基础模型上取得很好的效果。

    Apr, 2023