ICCVMar, 2020

CurlingNet：面向时尚 IQ 数据的图片文本组合学习

PDF
TL;DRCurlingNet 是一种可以测量图像 - 文本嵌入的语义距离的方法，利用交付和扫描两个关键组件来学习对时尚领域的数据进行有效的图像 - 文本组合，并采用通道间的门控机制，其单个模型在 ICCV2019 的第一次 fashion-IQ 挑战中获得了最佳表现之一。
发现论文，激发创造
  • Fashion-IQ 2020 挑战赛第二名队伍解决方案

    本文提出了新的多模态组合方法 RTIC，通过应用卷积神经网络和时序模型的文本和图像特征，达到了在 Fashion-IQ 挑战赛中识别衣服与描述的成果。在提取了候选图像的特征后，向其添加编码后的残差，并在变型模型中采用集合策略，取得了第二名的成绩。

    Jul, 2020

  • 图像检索中的图像 - 文本查询组合学习

    本文研究了基于多模态（图像 - 文本）查询的图像检索问题，提出了自编码器模型 ComposeAE，采用深度度量学习方法学习了推动源图像和文本查询组成更接近目标图像的度量，并在 MIT-States、Fashion200k 和 FashionIQ 三个基准数据集上优于当前最先进的 TIRG 方法。

    Jun, 2020

  • 图像检索中的文本与图像构成 - 实证之旅

    本文提出了一种基于图像和文本相结合的检索方法，利用相似度度量、嵌入式学习以及组合函数对目标图像进行了描述，并在三种不同数据集上进行了验证，证明了该方法在输入查询分类和图像检索方面的有效性。

    Dec, 2018

  • RTIC: 使用图卷积网络进行文本和图像组合的残差学习

    本文研究了图像和文本的组合学习在图像检索中的应用，提出了一种新的基于图卷积网络的联合训练技术，实现了在不限制训练环境的情况下超越现有基准方法的最先进得分。

    Apr, 2021

  • 使用图卷积网络对文本建模用于跨模态信息检索

    本研究提出了一种基于图的文本建模方法和双向神经网络模型，用于跨模态信息检索，结合卷积神经网络和 Graph Convolutional Network，通过相似度度量，并采用成对相似度损失函数训练模型，在准确率提升了 17％的前提下，成为了最先进的方法。

    Feb, 2018

  • 零样本组合文本 - 图像检索

    本文介绍了一个新方法，通过多模态信息的融合来准确地检索符合查询的图像，并在零样本场景下，在 CIRR 和 FashionIQ 等数据集上明显优于现有的最新技术。

    Jun, 2023

  • 混合模态查询下的图像检索渐进式学习

    本论文介绍一种将语音和图像相结合进行图像检索的复杂检索方法，从而需要语义空间学习和跨模态融合，同时提出了自我监督适应权重策略以更好地检索，通过广泛的实验，表明该方法在 Fashion-IQ 和 Shoes 基准数据集上的召回率均比现有方法提高了 24.9％和 9.5％。

    Apr, 2022

  • CaLa: 补充关联学习增强组合图像检索

    该论文提出了一种综合了图像和文本之间多种关系的方法，通过使用基于对齐机制和互补思考策略的框架，提高了复杂图像检索的性能。

    May, 2024

  • 时尚智取：一个面向自然语言反馈检索图像的新数据集

    该论文介绍了 Fashion IQ 数据集，支持互动式时装图像检索的研究和进展，提供了人工生成的注释、现实世界的产品描述和派生的视觉属性标签等，通过基于 transformer 的用户模拟器和交互式图像检索器提高对话式图像检索的效果，鼓励进一步开发更自然和适用于现实世界的购物助手。

    May, 2019

  • 学习深度结构保持的图像文本嵌入

    提出使用双分支神经网络进行联合嵌入图像和文本的方法，包含多层线性投影和非线性激活函数，通过结合度量学习和交叉视图约束优化进行训练，实验结果表明该方法在图像 - 文本检索和短语定位任务上具有显著性能改进。

    Nov, 2015