Jan, 2022

开放域对话数据集中的重叠问题的实证研究

PDF
TL;DR本文指出了流行的 DailyDialog 和 OpenSubtitles 等开放领域对话基准数据集中存在的重叠问题，分析其可能导致人为创造虚假性能结果。最后，通过对这些数据集的清理和建立适当的数据处理程序来解决这个问题，以供未来的研究使用。
open-domain dialogue systemsbenchmark datasetsfake state-of-the-art performancedata processingfuture research
发现论文，激发创造
  • 当众筹遇见人设：创建大规模开放域人设对话语料库

    本研究创建了一个大规模的开放式人设对话语料库，解决了创建自然语言数据集时面对的语义敏感性、隐私问题、数据采集难度等多重难题。

    Apr, 2023

  • 古腾堡对话数据集

    本研究利用 Project Gutenberg 公共领域书籍中的对话构建了一个包括 14.8M 个语言表达的高质量对话数据集，分析并展示了对话提取管道的效果和误差分析。实验表明，训练我们的数据可以比训练更大但更嘈杂的 Opensubtitles 数据集在零射击和精调设置下取得更好的响应质量。同时，我们还建立了一个 Web 演示，通过调整各种平衡参数，研究人员可以构建他们版本的现有数据集。

    Apr, 2020

  • 面向混合领域的任务导向对话

    研究了跨领域环境下的任务导向对话问题，并探讨了通过使用特定的状态监测组件和混合式系统来提高任务信念跟踪准确率的方法。

    Sep, 2019

  • 面向共情的开放领域对话模型：新基准和数据集

    本文提出了一个新的共情对话生成指标和一个基于具有情感情境的 25k 个会话的新数据集 EmpatheticDialogues，实验表明使用我们的数据集的对话模型被人类评估员认为比仅在大规模互联网对话数据上训练的模型更具有移情能力，同时还通过实验比较了对情感回应进行的对话模型调整，利用现有模型或数据集而无需重新训练完整模型

    Nov, 2018

  • 在任务导向对话数据集中寻找开放领域对话片段

    结合话题建模，研究 Schema-Guided Dialogues 和 MultiWOZ 的训练集，发现社交对话序列的存在，进一步推动了如何将闲聊融入任务导向对话的研究。

    Nov, 2023

  • 可迁移的对话系统和用户模拟器

    通过对话系统和用户模拟器之间的交互，开发了一种建模框架，旨在通过自动对话场景的创建来解决训练数据不足的问题，并使用强化学习来改进智能体的行为，从而在转移学习中提高对话系统性能。

    Jul, 2021

  • 利用大规模语言模型构建具有角色指定的开放域对话系统

    本研究旨在解决将角色赋予开放领域对话系统的问题，并提出了一个高效的数据收集框架，借助大规模语言模型的上下文少样本学习来构建满足角色约束的对话数据集。在此基础上，通过比较不同架构的开放领域对话系统，在保持其会话能力的同时满足角色约束。研究结果消息表明，我们的模型返回少量越界言论，在一般指标上保持竞争力。

    Apr, 2022

  • 通过人工多重参考研究开放式对话系统的评估

    本文旨在通过多参考评估减少开放领域对话系统的自动评估的缺点，研究结果表明，使用多参考评估可以提高几种自动指标与人类判断之间的相关性，无论是对于系统输出的质量还是多样性。

    Jul, 2019

  • 构建数据驱动对话系统的可用语料库调查

    通过调查可用于数据驱动型对话系统学习的公开数据集，讨论了这些数据集的重要特征，如何使用它们学习不同的对话策略以及它们的其他潜在用途。同时还研究了数据集之间的迁移学习方法和外部知识的应用，并讨论了适当的评估指标选择。

    Dec, 2015

  • 探测神经对话模型的对话理解能力

    本研究分析了神经网络开放领域对话系统所学习的内部表示，并评估了这些表示的质量以学习基本的交谈技巧。结果表明，标准的开放领域对话系统难以回答问题、推断矛盾并确定对话话题等任务，需要更多的研究来探讨建筑和训练方法，从而更好地捕捉有关对话的高级信息。

    Jun, 2020