Oct, 2023

什么是一个好问题？面向任务的问答与事实级屏蔽

PDF
TL;DR大语言模型在解决任务时常常缺乏与用户或第三方进行追问的能力，导致其难以生成能够促进任务成功的问题。通过定义及框架，本研究提出了自然语言任务导向的追问方法，并通过自监督学习生成了追问数据集，实验证明当前的零样本模型在提问中相较于人工标注者存在提取有用信息的困难，为训练和评估更好的追问模型提供了机遇。
reasoning tasksquestion answeringtask-oriented askingzero-shot chat modelsnatural language task-oriented asking
发现论文，激发创造
  • 针对无答案对话问题生成的提问内容和提问方式建模

    SG-CQG 是一个用于回答无答案设置下如何生成与要求自然的对话的方法，它通过语义图和具有明确控制信号的分类器来解决 what-to-ask 和 how-to-ask 的挑战。同时，提出了新的评估指标 Conv-Distinct，并在实验中取得了最先进的表现。

    May, 2023

  • 对话式搜索的零样本澄清性问题生成

    本文提出了使用零样本学习生成澄清问题的方案，并且通过问句模板和查询维度来引导澄清问题的生成，实验结果表明，该方法在自然度、有效性和多样性等方面表现优异。

    Jan, 2023

  • 迈向 AI 完全问答：一组前置 Toy 任务

    通过提出一组考核阅读理解水平的代理任务，我们测量了自然语言处理中的方法应用于推理和建立智能对话代理的长期目标，提出的任务可以通过链式事实、简单归纳、演绎等多种方式测试系统的理解能力，并为希望能够与人类对话的任何系统奠定必要的先决条件，我们相信，许多现有的学习系统目前还无法解决这些问题，我们的目标是将这些任务分类为技能集，以便研究人员可以确定并纠正他们的系统的缺陷。我们还扩展和改进了最近介绍的 Memory Networks 模型，并表明它能够解决其中的一些任务，但不是全部。

    Feb, 2015

  • 面向任务的查询基准 (ToQB)

    利用现有的任务导向对话数据集和大型语言模型（LLM）服务，我们提出了一种高效生成任务导向查询基准（ToQB）的新方法，并演示了如何自定义 LLM 提示，并表征生成的任务导向查询。

    Jun, 2024

  • 评估学习端到端对话系统的先决条件素质

    本文提出了基于电影领域的一套新任务套件，旨在测试模型回答事实性问题、提供个性化、进行短对话及在 Reddit 上执行自然对话的能力，评估了各种模型在这些任务上的性能表现。

    Nov, 2015

  • 面向任务导向对话的领域自适应 Prompt 学习

    本文研究了提高生产质量的面向任务的对话系统的设计的困难，提出了使用自然语言的轻量级语义表示 —— 规范形式作为用户意图分类的替代方法，并且展现了规范形式可以很好地泛化到新的、未知的域，在零次或少次样本学习中可以轻易实现，并且可以降低开发新的任务导向的对话域的复杂性和费用。

    Nov, 2022

  • 无需问题示例的开放领域澄清问题生成

    通过提出一个视觉基础的问题 - 回答模型框架，使用期望的信息量增益优化来产生极性澄清问题以消除人机对话中的误解，从而展示了该模型在目标导向的 20 个问题游戏中与人工回答者一起提出的问题如何提高交流成功率。

    Oct, 2021

  • 问一问先行，增强终身语言学习能力

    本文提出了一种名为 AQF-RQ 的新型学习方法，包括一种新的数据格式以及一种训练任务，使模型更容易生成与先前任务相对应的伪数据，并在分界清晰和不清晰的情况下对伪数据更具鲁棒性，可以实现与多任务学习只有 0.36％左右的性能差距。

    Aug, 2022

  • 能否使用 NLP 模型 ' 识别 '，' 区分 ' 和' 证明 ' 没有明确答案的问题？

    尽管最先进的自然语言处理（NLP）系统在各种语言理解任务上取得了显著的表现，但它们主要关注那些有正确和明确答案的问题。然而，在现实世界的应用中，用户经常会问一些没有明确答案的问题。最新研究表明，即使是 SOTA 模型（包括 GPT-3 和 Flan T5）在正确识别和回答这类问题上也表现不佳，远远落后于人类基准水平。本研究介绍了一个包含五类没有明确答案的问题的数据集 QnotA，同时提供了每个 QnotA 实例的一个可回答问题。我们通过综合实验表明，我们的工作和发现将鼓励和促进进一步在这一重要领域的研究，并有助于开发更健壮的模型。

    Sep, 2023

  • OPERA：协调任务导向对话和信息搜索体验

    本文提出了一种新的任务 Open-Book TOD，将任务定向对话（TOD）与问答（QA）相结合，并扩展了外部知识来源，包括显式和隐式知识源。作者还创建了一个新的数据集 OB-MultiWOZ，提出了一个统一模型 OPERA，通过访问外部知识来应对定义的任务。实验结果表明，OPERA 的性能优于闭式基线，两种类型的知识都有其价值。

    Jun, 2022