EMNLPSep, 2021

利用澄清问题构建和评估开放域对话语料库

PDF
TL;DR研究旨在通过提出管道方法并基于多轮对话以及有效进行离线和在线步骤来评估澄清问题的质量，以收集和发布一个新的、聚焦于开放域单轮和多轮对话的数据集，并基准定位几个最先进的神经线路。
open-domain dialogue systemsclarifying questionsneural baselinesmulti-turn conversationsevaluation
发现论文，激发创造
  • 开放领域信息寻求对话中的澄清问题

    本文介绍了在开放领域信息寻求对话系统中提出澄清问题的任务，并提出了一个离线评估方法和一个命名为 Qulac 的数据集，以便评估模型的性能，其实验表明优质问题有助于提高信息检索的效率，并提出一个由三个部分构成的检索框架，该模型显著优于竞争基线。

    Jul, 2019

  • ConvAI3: 为开放域对话系统生成澄清问题（ClariQ）

    本文详细介绍了对话系统提出澄清问题的挑战（ClariQ），为了解决信息查找中遇到的模糊问题，提供通用的评估框架以评估混合倡议式对话。

    Sep, 2020

  • 无需问题示例的开放领域澄清问题生成

    通过提出一个视觉基础的问题 - 回答模型框架，使用期望的信息量增益优化来产生极性澄清问题以消除人机对话中的误解，从而展示了该模型在目标导向的 20 个问题游戏中与人工回答者一起提出的问题如何提高交流成功率。

    Oct, 2021

  • 在开放域问答中提出澄清问题以处理歧义

    提出了一种基于澄清问题的开放领域问答方法，首先使用 InstructGPT 和手动修订生成澄清问题的数据集 CAMBIGNQ，然后设计了一系列任务和合适的评价指标，在模糊性检测和基于澄清问题的问答方面取得了 61.3 F1 和 40.5 F1 的成果。

    May, 2023

  • 估计明确问题和回答对于对话式搜索的有用性

    我们提出了一个简单而有效的方法来处理对澄清问题的回答，并介绍了一个对用户提出的问题和回答进行有用性评估的分类器，将有用的问题或回答附加到对话历史中，并传递给基于 transformer 的查询重写模块，实验证明与非混合主动的基线相比有显著改进。此外，所提出的方法缓解了使用不实用的问题和回答时性能下降的问题。

    Jan, 2024

  • 分析和学习用户交互以进行搜索澄清

    本文研究了在搜索引擎中使用澄清问题以揭示查询意图的用户交互，并提出了一种基于用户交互数据的学习表示澄清问题的模型，用于重新排列自动生成的澄清问题，同时在点击数据和人工标注数据上进行评估，展示了提出方法的高质量。

    May, 2020

  • ClarQ：一个大规模且多样化的澄清问题生成数据集

    通过基于自监督的新型启动框架，从 stackexchange 中提取 post-comment 元组，利用神经网络分类器构建了一个多样化、大规模的澄清问题数据集。将该数据集应用于问题回答的下游任务的实验表明其效用，并放出名为 ClarQ 的含 173 个领域的 2M 个实例的数据集。其目的是促进澄清问题生成的研究，以提升对话和问题回答系统。

    Jun, 2020

  • 分析澄清问题对对话式搜索中文档排序的影响

    该研究分析了词汇排名模型在具有澄清问题的会话搜索数据集上的性能，探讨了不同方面的澄清问题和用户答案如何影响排名的质量，并介绍了一种基于启发式的词汇基线，它明显优于现有的朴素基线。

    Aug, 2020

  • 通过强化学习来控制会话式搜索的风险

    提出了一种风险感知的对话式搜索代理模型，平衡了回答用户查询和提出澄清问题的风险，并通过强化学习策略在 MSDialog 数据集上得到了比非风险感知基线更好的结果。

    Jan, 2021

  • 通过强化学习在对话中进行交互式问题澄清

    本文提出了通过增强学习模型来澄清模糊问题的方法，包括分割问题、选择标签、确认意图和构建适当的响应。模型基于深度政策网络的强化学习模型，通过真实用户点击数据评估并展示了显著的性能提升。

    Dec, 2020