介绍了一种新的交互式图像检索方法，该方法允许用户通过自然语言提供反馈，形成了一个基于强化学习的对话系统，用于提高目标图像的排名，该方法在鞋类检索应用中表现出更好的准确性和更有效的检索结果。

May, 2018

本文提出了 Drill-down，该方法可以使用自然语言进行交互式图像检索，能够在包含多个对象的复杂图像场景中有效地使用多轮查询和弱监督，这种方法展现了优越的表现。

Nov, 2019

本文提出了一种基于检索的系统和相关数据集，用于预测用户可能有的下一个问题，可以主动地帮助用户进行知识探索，引导用户进行更有意义的对话。该检索系统是在一个包含 14000 多组信息获取对话的数据集上进行训练的，该数据集包含一个有效的后继问题和一组无效候选问题。我们在 Follow-up Query Bank 数据集上训练了排名模型，并比较了监督和无监督方法的结果。结果表明，我们可以通过将有效后继问题排在更高的位置上进行检索，但进一步的知识构建可以提高排名性能。

Feb, 2023

本文介绍了一个新的数据集 ReMuQ，针对跨媒体检索的任务，提出了一个直接处理文本和图像输入的 Retriever 模型 `ReViz`，并引入了一个新的预训练任务，实现了对多模态查询的知识检索，并在两个数据集上取得了优秀的检索效果。

Jun, 2023

提出了一种端到端的面部图像检索框架，利用相关反馈逐步提供给目击者，对心理图像进行交互式和迭代式检索，无需额外注释，并进行 exttt {CelebA} 数据集上的实验证明，该模型在最佳设置下的排名百分位数可以达到 99％，可以成为进一步研究的基础。

Jul, 2020

在混合主动交互搜索系统中，通过添加图像到澄清问题并提出多模态澄清问题的新任务，可以显著提高查询澄清过程的效果，改善信息检索性能，从而有效地解决了用户在表达意图和解决查询模糊性方面的困难。

Feb, 2024

提出了一种结合多模态提示检索和生成模型的方法，该方法可以在医学领域的视觉问题回答任务中比非检索方法提高高达 30％的精度。

Jun, 2023

本论文介绍一种将语音和图像相结合进行图像检索的复杂检索方法，从而需要语义空间学习和跨模态融合，同时提出了自我监督适应权重策略以更好地检索，通过广泛的实验，表明该方法在 Fashion-IQ 和 Shoes 基准数据集上的召回率均比现有方法提高了 24.9％和 9.5％。

Apr, 2022

本论文提出了一种多模态蕴含分类器来确定图像的语句，以及开发了一种通用可调节学习速率策略来教授一个检索模型区分这些蕴含的语句和其他负样本。在实验中，我们手动注释了一个蕴含更正的图像文本检索数据集用于评估。结果表明，所提出的蕴含分类器达到了约 78% 的准确度，并持续提高了图像文本检索基线的性能。

Aug, 2022

我们提出了一个基于预训练多模态模型的证据检索和问答的两阶段框架来解决模型面临的两个主要挑战：利用压缩的证据特征会导致丢失细粒度信息以及提取问题关键特征时存在特征提取和问题之间的差距。我们的方法包括渐进证据精炼策略来选择关键证据、半监督对比学习训练策略扩展问题领域范围以及多轮检索和问答策略来处理多模态输入。通过大量实验证明了模型的有效性，在 WebQA 和 MultimodelQA 基准测试上取得了出色的性能。

Oct, 2023