May, 2023

面向任务的端到端对话系统的任务优化适配器

HTML
PDF
TL;DR该研究提出了一种基于Task-Optimized Adapters和强化学习的End-to-end TOD系统，能够独立学习每个任务，并在MultiWOZ基准测试上表现出优越的性能，特别是在2.2数据集上的DST任务达到了最先进的水平。
发现论文，激发创造
  • 基于深度强化学习的任务导向对话模型端到端优化

    介绍了一种基于神经网络的任务导向对话系统，可以使用深度强化学习进行端到端优化，可跟踪对话状态，与知识库交互，并将查询结果整合到代理人的响应中，以成功完成任务导向对话。

    Nov, 2017

  • 基于预训练语言模型的任务导向对话系统研究——以GPT-2为例

    本研究探讨了数据稀缺对于多领域任务导向对话系统快速发展的限制，并提出了一种基于TransferTransfo和生成模型预训练的对话模型，并在MultiWOZ数据集上进行了验证，结果显示该模型可以有效地绕过显式策略和语言生成模块来实现对于任务的导向和推理。该方法有望缓解数据稀缺问题，进而支持构建更具吸引力和更流畅的任务导向的对话代理人。

    Jul, 2019

  • TOD-BERT: 面向任务导向对话的预训练自然语言理解

    本文通过整合多个人机对话数据集，结合用户和系统记号改良预训练模型，提出了对话任务BERT（TOD-BERT）模型，并通过四个对话应用领域的实验验证，表明TOD-BERT在意图识别、对话状态跟踪、对话行为预测、响应选择等方面超过了强对话模型BERT，并且具有更强的少量数据学习能力。

    Apr, 2020

  • 适配器机器人：多功能可控对话模型

    本研究提出了Adapter-Bot，一种对话模型，使用不同的适配器触发按需的对话技能，并实现不间断集成和无缝利用多种知识源，通过与现有最先进的对话模型进行比较的自动评估来评估我们的模型。

    Aug, 2020

  • 以任务为导向的对话系统作为自然语言生成

    本文提出了一种基于大规模预训练模型（如GPT-2）的任务驱动对话系统纯自然语言生成任务，以简化复杂的词语替换处理，但是直接使用会遇到对话实体不一致性和预训练模型精调时的灾难性遗忘问题，因此我们设计了一种新的GPT-Adapter-CopyNet网络，它将轻量级adapter和CopyNet模块融入GPT-2，以实现更好的迁移学习和对话实体生成，而且实验结果表明，我们的方法在自动和人类评估方面的性能显著优于基线模型。

    Aug, 2021

  • 插拔式任务导向对话系统的多任务预训练

    该研究提出了通过PPTOD模型和新的对话多任务预训练策略来解决任务导向对话系统中存在的级联生成问题，取得了针对几个基准TOD任务的最新成果。

    Sep, 2021

  • 任务导向对话系统语言模型比较研究

    本研究比较了使用最新的预训练模型，如 BART 和 T5 对任务导向对话系统的端到端训练的效果和强度，实验结果表明在语言模型微调后，模型生成的响应更流畅、更准确，BART 和 T5 在 BLEU 和 F1 分数方面胜过 GPT-based models，达到了任务导向对话系统的最先进水平。

    Jan, 2022

  • 以响应选择为辅助任务的高效任务导向型对话系统

    本文提出两种具有辅助任务的模型，用于响应选择，并在MultiWOZ 2.1数据集上取得了107.5和108.3的综合分数，优于具有三倍以上的参数基线模型。

    Aug, 2022

  • 使用大型语言模型进行任务导向对话评估的用户模拟

    为了推动自动化任务导向对话系统的评估，本研究提出了一种基于预训练语言模型的新型用户模拟器，并通过上下文学习来生成具有鲁棒性和语言多样性的输出，以模拟人类对话行为。通过与现有对话系统交互，并收集人机交互数据集，验证了该用户模拟器在单一意图对话目标方面的表现与人类相似。

    Sep, 2023

  • 利用离线强化学习改善多领域任务导向对话系统

    本研究解决了任务导向对话系统在使用监督学习微调预训练语言模型时出现的曝光偏差和令牌损失问题，导致系统无法有效完成用户任务的问题。通过采用统一的预训练语言模型GPT2，并结合监督学习和强化学习优化，研究提出了一种新的奖励函数，最终实验结果显示该系统在MultiWOZ2.1数据集上成功率提高了3.17%。

    Nov, 2024