WWWFeb, 2024

多模态澄清问题在混合主动对话式搜索中的应用

PDF
TL;DR在混合主动交互搜索系统中，通过添加图像到澄清问题并提出多模态澄清问题的新任务，可以显著提高查询澄清过程的效果，改善信息检索性能，从而有效地解决了用户在表达意图和解决查询模糊性方面的困难。
mixed-initiative conversational search systemsclarifying questionsmultimodal informationmultimodal clarifying questionsquery clarification
发现论文，激发创造
  • 估计明确问题和回答对于对话式搜索的有用性

    我们提出了一个简单而有效的方法来处理对澄清问题的回答，并介绍了一个对用户提出的问题和回答进行有用性评估的分类器，将有用的问题或回答附加到对话历史中，并传递给基于 transformer 的查询重写模块，实验证明与非混合主动的基线相比有显著改进。此外，所提出的方法缓解了使用不实用的问题和回答时性能下降的问题。

    Jan, 2024

  • 开放领域信息寻求对话中的澄清问题

    本文介绍了在开放领域信息寻求对话系统中提出澄清问题的任务，并提出了一个离线评估方法和一个命名为 Qulac 的数据集，以便评估模型的性能，其实验表明优质问题有助于提高信息检索的效率，并提出一个由三个部分构成的检索框架，该模型显著优于竞争基线。

    Jul, 2019

  • 通过用户模拟评估混合式倡议对话搜索系统

    本文介绍了 USi，一种用于自动评估对话式搜索系统的用户仿真器，可自动回答与搜索主题有关的澄清问题，包括单轮和多轮交互。通过一系列实验证明了 USi 对人类生成的答案是相当的。

    Apr, 2022

  • MultiModalQA: 文本、表格和图像的复杂问答

    本文介绍了一个名为 “MultiModalQA (MMQA)” 的数据集，该数据集需要通过对文本、表格和图像的联合推理来回答问题。作者还创建了一个新框架来生成复杂的多模态问题，并演示了多模态多跳方法在解决这一任务中的必要性。

    Apr, 2021

  • 分析澄清问题对对话式搜索中文档排序的影响

    该研究分析了词汇排名模型在具有澄清问题的会话搜索数据集上的性能，探讨了不同方面的澄清问题和用户答案如何影响排名的质量，并介绍了一种基于启发式的词汇基线，它明显优于现有的朴素基线。

    Aug, 2020

  • 面向生成视觉问答的多模态提示检索

    提出了一种结合多模态提示检索和生成模型的方法，该方法可以在医学领域的视觉问题回答任务中比非检索方法提高高达 30％的精度。

    Jun, 2023

  • ConvAI3: 为开放域对话系统生成澄清问题（ClariQ）

    本文详细介绍了对话系统提出澄清问题的挑战（ClariQ），为了解决信息查找中遇到的模糊问题，提供通用的评估框架以评估混合倡议式对话。

    Sep, 2020

  • 大规模语言模型在多模态搜索中的应用

    多模态搜索系统结合图像和文本，通过增强匹配能力、推理能力和上下文感知的查询解析和重写，提供用户与其搜索意图自然有效的交互。在 Fashion200K 数据集上，我们引入了一种新颖的多模态搜索模型，并提出了结合大型语言模型的搜索界面，以实现与用户的对话式互动和上下文考虑的搜索体验的升级，为购物助手提供了类人交互和全面的搜索体验。

    Apr, 2024

  • 分析和学习用户交互以进行搜索澄清

    本文研究了在搜索引擎中使用澄清问题以揭示查询意图的用户交互，并提出了一种基于用户交互数据的学习表示澄清问题的模型，用于重新排列自动生成的澄清问题，同时在点击数据和人工标注数据上进行评估，展示了提出方法的高质量。

    May, 2020

  • 利用澄清问题构建和评估开放域对话语料库

    研究旨在通过提出管道方法并基于多轮对话以及有效进行离线和在线步骤来评估澄清问题的质量，以收集和发布一个新的、聚焦于开放域单轮和多轮对话的数据集，并基准定位几个最先进的神经线路。

    Sep, 2021