Apr, 2024

基于 CLIP 的交互式图像检索中的相关性反馈再审

PDF
TL;DR通过集成 CLIP 与经典的相关反馈技术以增强图像检索，我们提出了一种交互式基于 CLIP 的图像检索系统，并利用相关反馈收集用户独特的偏好，从而适应不同用户的偏好并实现高准确性的图像检索。
image retrievalmetric learningrelevance feedbackclip-based image retrieval systemuser preferences
发现论文，激发创造
  • 基于对话的交互式图像检索

    介绍了一种新的交互式图像检索方法，该方法允许用户通过自然语言提供反馈，形成了一个基于强化学习的对话系统，用于提高目标图像的排名，该方法在鞋类检索应用中表现出更好的准确性和更有效的检索结果。

    May, 2018

  • 使用检索增强的知识，学习定制的视觉模型

    提出一种名为 REACT 的框架用于获取相关网络知识以构建目标领域的定制视觉模型。该框架通过检索与预训练数据集最相关的图像 - 文本对作为外部知识源，并仅训练新的模块化块，冻结所有原始权重，证明了其在零、少、全样本设置下显著提高了分类、检索、检测和分割任务的成功率。

    Jan, 2023

  • 增强图像检索：基于 CLIP 模型的照片搜索的全面研究

    CLIP 模型是基于文本查询的图像检索的重要进展，通过在大规模数据集上进行训练获得显著的泛化能力，实现了图像和文本的跨模态理解，促进了自然语言理解和计算机视觉的无缝集成，为多媒体应用中的信息检索提供了强大的工具。

    Jan, 2024

  • 检索增强对比视觉 - 文本模型

    本论文提出了 RECO 模型，该模型通过外部记忆检索获取精细化知识，应用于现有视觉文本模型中，并在 Stanford Cars、CUB-2011 和 OVEN benchmark 等多项任务中取得了显著性能提升。

    Jun, 2023

  • 使用 CLIP 奖励的细粒度图像字幕生成

    本研究提出使用基于大规模图像 - 文本对训练的多模态编码器 CLIP 计算多模态相似度并将其用作奖励函数来产生更加具有描述性和独特性的标题，同时证明使用 CLIP 奖励相较于传统奖励模板对于改善生成模型具有优势，并介绍了一种简单的 CLIP 文本编码器微调策略以提高语法。

    May, 2022

  • 使用对比学习和面向任务的 CLIP 特征的组合图像检索

    利用 OpenAI CLIP 模型中的视觉和文本特征进行任务细化微调，然后通过训练 Combiner 网络来整合双模态信息，并提供用于检索的组合特征，结果表明这种方法在复合图像检索方面优于当前先进方法。

    Aug, 2023

  • 基于典型对比学习的 CLIP 微调方法用于物体重新识别

    這項研究旨在將大規模預先訓練的視覺語言模型，如對比語言 - 圖像預訓練（CLIP），適應各種監督設置下物體再識別（Re-ID）的表現提升。在本研究中，我們首先分析了 CLIP-ReID 中 prompt learning 的作用並確認了其限制。基於我們的調查，我們提出了一種簡單而有效的方法，通過使用原型對比學習（PCL）損失直接微調 CLIP 的圖像編碼器，從而消除了 prompt learning 的需要。在人物和車輛 Re-ID 數據集上的實驗結果證明了我們的方法與 CLIP-ReID 的競爭力。此外，我們將基於 PCL 的 CLIP 微調方法擴展到無監督場景，達到了最新的表現。

    Oct, 2023

  • RECLIP: 使用小尺寸图片训练的资源高效 CLIP

    本文介绍了一种名为 RECLIP 的方法，其最小化了用于 Contrastive Language Image Pretraining 的计算资源，实现了高效的语言监督预训练。该方法利用小图像高效地学习大规模语言监督，并在最后使用高分辨率数据进行微调，以降低训练资源要求，并展示了与现有方法相比极具竞争力的指标表现。

    Apr, 2023

  • 利用有限样本文档重新排序，加入相关反馈来改进信息检索

    本研究探讨如何将相关性反馈直接集成到神经重排模型中，使用 kNN 方法和交叉编码器模型，通过在现有信息检索数据集上的实验，证明了这种方法能够大幅提高神经重排模型的性能。

    Oct, 2022

  • 利用基于 CLIP 的多模态方法进行艺术品分类与检索

    在艺术作品领域中，我们通过对艺术品图像进行多模式图像预训练，并使用最新的 CLIP 模型，在 NoisyArt 数据集上进行了详尽的实验，取得了令人印象深刻的（零样本）分类效果和良好的艺术品之间及描述与艺术品之间的效果。

    Sep, 2023