Dec, 2023

图像搜索的当代艺术：通过视觉语言模型进行迭代用户意图扩展

HTML
PDF
TL;DR利用视觉语言模型的用户意图扩展框架改进了图像搜索引擎，提供更准确和满意的搜索结果。该框架包括两个阶段的过程，即解析阶段和逻辑组合阶段，并允许用户进行灵活的上下文交互以进一步指定或调整搜索意图。研究结果表明，该框架显著提高了用户的图像搜索体验，特别是解析和上下文交互对于用户更准确表达搜索意图和进行愉快的迭代式搜索体验非常有用。
发现论文，激发创造
  • WhittleSearch：基于相对属性反馈的交互式图片搜索

    该论文提出了一种新颖的图像搜索反馈模式，其中用户可以描述应调整示例图像的哪些属性以更贴近其所寻找的图像的心理模型，并利用比较语言以多维属性空间中的约束迭代更新其相关性函数和重新排列图像数据库，通过使用相对属性的顺序特性，以提高搜索速度和准确性，优化了人、产品和场景的图像搜索。

    May, 2015

  • 基于注意力机制的查询扩展学习

    提出一种基于自我注意力机制的模型，以更高的准确性进行查询扩展，克服现有方法的缺陷。

    Jul, 2020

  • ARTEMIS：基于注意力机制的文本显式匹配与隐式相似度检索

    该论文通过观察文本到图像和图像到图像检索两者的关系，提出并验证了一种利用特殊关系而不需预训练大型架构等辅助信息，且表现最优秀的基于注意力机制协调图像和自由格式文本修饰符检索的方法。

    Mar, 2022

  • 无尽索引：基于生成式文本-图像模型的信息检索

    该研究将生成模型的提示工程重新构想为交互式基于文本的检索，并应用于游戏设计中的图像生成案例研究，并探讨主动学习在产生图像检索中的潜力。

    Dec, 2022

  • 个性化的改写提示增强文本生成图像

    我们提出了一种将大型预训练模型视为搜索引擎的新视角，从而使以前用于提高搜索引擎性能的技术得以重新应用。通过个性化查询重写技术的示例，我们在文本到图像生成领域使用了这种视角。尽管该领域取得了显著进展，但仍然很难创建与个体用户的期望和偏好密切对齐的个性化视觉表示。这个过程需要用户用对模型理解且准确捕捉他们的愿景的文字来表达，这对许多用户来说很困难。在本文中，我们通过利用用户与系统的历史互动来提高用户提示的质量来解决这个挑战。我们提出了一种基于具有超过300k个提示的3115个用户的新大规模文本到图像数据集的用户提示重写方法。我们的重写模型增强了用户提示与其预期视觉输出之间的表达和对齐。实验证明了我们方法的优越性，这在我们的新离线评估方法和在线测试中得到了证明。我们的方法为应用更多搜索引擎技术来构建真正个性化的大型预训练模型打开了令人兴奋的可能性。

    Oct, 2023

  • 以用户为中心的前缀调优是个性化图像字幕的良好学习器

    我们提出了一种个性化的图像描述框架，通过融合用户上下文以考虑个性因素并从一个冻结的大型语言模型中提取知识来减小不同语言领域之间的差距，提高了模型的效率和效果。我们的模型在Instagram和YFCC100M数据集上比现有基准模型表现出更好的结果，包括在BLEU-4和CIDEr等指标上的两倍改进。

    Dec, 2023

  • 增强图像检索：基于CLIP模型的照片搜索的全面研究

    CLIP模型是基于文本查询的图像检索的重要进展，通过在大规模数据集上进行训练获得显著的泛化能力，实现了图像和文本的跨模态理解，促进了自然语言理解和计算机视觉的无缝集成，为多媒体应用中的信息检索提供了强大的工具。

    Jan, 2024

  • MagicLens：自我监督图像检索与开放式指令

    利用文本指令和多模态模型实现自我监督图像检索，能够检索到具有丰富关系的图像，超过了先前最先进的方法，并且模型体积更小，同时支持多样的搜索意图。

    Mar, 2024

  • 利用大型语言模型和视觉语言模型增强交互式图像检索的查询重写

    我们提出了一种互动式图像检索系统，结合了视觉语言模型和大型语言模型，通过用户反馈迭代改进查询，并利用无噪声的查询扩展提高检索准确性，在评估中获得了10%的召回率改善。

    Apr, 2024

  • 混合语义搜索：揭示用户意图超越关键词

    本研究解决了传统基于关键词搜索在理解用户意图方面的局限，提出了一种新颖的混合搜索方法，结合了非语义搜索引擎、大型语言模型（LLMs）和嵌入模型的优势。该系统通过关键词匹配、语义向量嵌入和LLM生成的结构化查询，提供高相关性和上下文适切的搜索结果，显著提升了搜索的准确性和响应速度。

    Aug, 2024