Oct, 2020

NTES_ALONG 在 Convai3 挑战中的澄清问题选择系统

PDF
TL;DR该论文介绍了 NetEase 游戏 AI 实验室团队参加 2020 年 Search-oriented Conversational AI（SCAI）EMNLP 研讨会 ClariQ 挑战的情况。我们提出了一个澄清问题选择系统，它由回复理解、候选问题回忆和澄清问题排名组成。在实验中，我们使用 RoBERTa 模型来理解用户的回复，并使用 BM25 模型回忆候选问题。在澄清问题排名阶段，我们基于 ELECTRA 提出了两种模型，并将它们的输出概率相加，选择概率最高的问题作为澄清问题。实验结果表明，我们的模型在文档相关性任务中表现优异，且在问题相关性任务中达到了最佳的 recall@[20,30] 指标，而在第二阶段的多轮对话评估中，我们的系统获得了所有文档相关性度量的最高分数。
发现论文，激发创造
  • ConvAI3: 为开放域对话系统生成澄清问题（ClariQ）

    本文详细介绍了对话系统提出澄清问题的挑战（ClariQ），为了解决信息查找中遇到的模糊问题，提供通用的评估框架以评估混合倡议式对话。

    Sep, 2020

  • 通过自然语言推理对澄清问题进行排名

    教机器提出澄清问题对于自然语言处理系统非常有用，本研究使用 Siamese BERT 模型，将 NLI 的特征运用在 StackExchange 数据集问题排序上，取得了相对于现有基线模型高达 40% 至 60% 的性能提升。

    Aug, 2020

  • 通过用户模拟评估混合式倡议对话搜索系统

    本文介绍了 USi，一种用于自动评估对话式搜索系统的用户仿真器，可自动回答与搜索主题有关的澄清问题，包括单轮和多轮交互。通过一系列实验证明了 USi 对人类生成的答案是相当的。

    Apr, 2022

  • 学习提出好问题：通过神经期望完美信息值对澄清问题进行排名

    本研究构建了一个基于神经网络的模型来排列澄清问题，模型以期望的完美信息价值为灵感，并使用来自 StackExchange 的数据进行了研究和评估。

    May, 2018

  • 估计明确问题和回答对于对话式搜索的有用性

    我们提出了一个简单而有效的方法来处理对澄清问题的回答，并介绍了一个对用户提出的问题和回答进行有用性评估的分类器，将有用的问题或回答附加到对话历史中，并传递给基于 transformer 的查询重写模块，实验证明与非混合主动的基线相比有显著改进。此外，所提出的方法缓解了使用不实用的问题和回答时性能下降的问题。

    Jan, 2024

  • CLARINET：为检索任务扩展语言模型以提问澄清问题

    这篇研究论文介绍了 CLARINET，一种能够通过选择问题来最大化正确候选项准确性的系统，在信息检索环境中提出澄清问题的问题，相对于传统的启发式方法提高了 17% 的检索成功率，并相对于简单提示的大型语言模型提高了 39%。

    Apr, 2024

  • ClarQ：一个大规模且多样化的澄清问题生成数据集

    通过基于自监督的新型启动框架，从 stackexchange 中提取 post-comment 元组，利用神经网络分类器构建了一个多样化、大规模的澄清问题数据集。将该数据集应用于问题回答的下游任务的实验表明其效用，并放出名为 ClarQ 的含 173 个领域的 2M 个实例的数据集。其目的是促进澄清问题生成的研究，以提升对话和问题回答系统。

    Jun, 2020

  • 开放领域信息寻求对话中的澄清问题

    本文介绍了在开放领域信息寻求对话系统中提出澄清问题的任务，并提出了一个离线评估方法和一个命名为 Qulac 的数据集，以便评估模型的性能，其实验表明优质问题有助于提高信息检索的效率，并提出一个由三个部分构成的检索框架，该模型显著优于竞争基线。

    Jul, 2019

  • 对话式搜索的零样本澄清性问题生成

    本文提出了使用零样本学习生成澄清问题的方案，并且通过问句模板和查询维度来引导澄清问题的生成，实验结果表明，该方法在自然度、有效性和多样性等方面表现优异。

    Jan, 2023

  • 关于对话式问答的技术报告

    使用 RoBERTa + AT + KD 模型，本文在 CoQA 数据集上进行对话问答，单模型达到 90.4 的 F1 得分，比现有最先进的单模型高 2.6%。

    Sep, 2019