Jun, 2023

消除三元组模糊性：语言引导图像检索的共识网络

PDF
TL;DR本文提出了一种名为 Css-Net 的共识网络模型，通过包含四个不同组成者的共识模块，采用 Kullback-Leibler 散度损失来使它们通过学习减少从噪声三元组中学习到的偏差并达成一致，进而减轻三元组歧义问题，提高基准测试的重要性能。
发现论文，激发创造
  • 高分辨率图像检索中基于 Triplet-loss 扩张残差网络的表示学习

    本文提出了一种使用三元组损失（triplet loss）的卷积神经网络方法，该方法采用膨胀残差卷积神经网络（dilated residual convolutional neural network）提取高分辨率表示，并通过广义均值池化（Generalized-Mean pooling）方法增强提取的表示的鲁棒性，该方法在 Revisited Paris6k 和 UKBench 等数据集上取得良好的图像检索精度。

    Mar, 2023

  • 文本引导的图像检索的排名感知不确定性

    提出了一种新颖的基于排名感知的不确定性方法，通过使用提供的三元组来建模多对多的对应关系，学习特征的随机排名列表，并对源输入和目标图像的分布表示进行分布规范化，从而在组合图像检索的两个公共数据集上取得了显著的结果。

    Aug, 2023

  • 保持语义领域对稳健跨模态检索的影响

    本篇研究提出了一种方法，使用特定的 loss 函数，在保持图像和文本子空间内的语义连贯性的同时鼓励它们之间的语义协同，并改进了基线模型，以实现跨模态检索。

    Jul, 2020

  • 通过缩放的正负样本对比学习提升组合图像检索

    通过构建三元组并利用大型多模态语言模型，提出了解决复合图像检索问题的数据生成方法，并设计了用于优化表示空间的两阶段微调框架，实验结果显示方法在多个数据集上实现了最先进的结果，并在低资源场景下的复合图像检索中表现出色。

    Apr, 2024

  • 多样式图像字幕的样式感知对比学习

    本文提出了一种针对多风格图像字幕生成的样式感知对比学习的方法，该方法基于对潜在与风格相关的视觉内容的对比学习，提出了一个样式感知的视觉编码器以及三种检索方案。实验结果表明，该方法的性能达到了最先进水平。

    Jan, 2023

  • 跨模态图像 - 文本联合嵌入的网络监督检索

    文章提出了利用网络图像及对应标签实现鲁棒视觉 - 语义联合嵌入学习的方法，通过在有限的训练数据中引入弱标注的网络图像能够取得比当前最先进方法更显著的图像 - 文本检索性能提升。

    Aug, 2018

  • 学习用于图像文本匹配任务的双分支神经网络

    本文研究了两种神经网络结构用于学习图像和语言之间的相似性，其中一种网络结构学习了一个共享的潜在嵌入空间，另一种网络结构通过元素乘积将两个数据模态融合，并且实现了对于句子和图像的双向检索，取得了良好的结果。

    Apr, 2017

  • CaLa: 补充关联学习增强组合图像检索

    该论文提出了一种综合了图像和文本之间多种关系的方法，通过使用基于对齐机制和互补思考策略的框架，提高了复杂图像检索的性能。

    May, 2024

  • 组合图像检索的双重关系对齐

    我们提出了一种新的合成图像检索框架，名为双关系对齐，它将显式和隐式关系相结合，充分利用三元组之间的相关性，通过融合参考图像和目标图像设计了一个视觉组合器，显著提升了合成图像检索性能。

    Sep, 2023

  • 使用双重多模式编码器对合成图像检索进行候选集重新排序

    该研究提出了一个两阶段模型：第一阶段使用常规向量距离度量，快速对候选项进行修剪；第二阶段采用双编码器体系结构，对参考文本 - 候选项 - 文本进行有效注视和重新排序，利用视觉和语言预训练网络，实现了组合先前方法的优点。

    May, 2023