Jul, 2023

DialogStudio: 朝着最丰富和最多样化的对话人工智能统一数据集收集

HTML
PDF
TL;DRDialogStudio是最大最多样化的对话数据集合，它包含了开放域对话、任务导向对话、自然语言理解、对话推荐、对话总结和知识为基础的对话。该数据集合不仅为对话研究和模型训练提供了丰富多样的资源，还提供了每个数据集的许可证并为选定的对话设计了领域感知的提示来促进指导感知的微调。此外，使用DialogStudio数据集合开发的对话AI模型在零样本学习和少样本学习的实验中展现出卓越的性能。访问此链接获取与DialogStudio相关的所有数据集、许可证、代码和模型，以提高透明度并支持数据集和任务基础的研究以及语言模型的预训练。
发现论文，激发创造
  • Ubuntu对话语料库：一份用于非结构化多轮对话系统研究的大型数据集

    介绍Ubuntu对话语料库，包含近100万个多轮对话，可以用于建立基于神经语言模型的对话管理器，同时提供适用于此数据集的两种神经学习架构，并在选择最佳下一个响应的任务上提供了基准表现。

    Jun, 2015

  • Taskmaster-1: 迈向逼真多样话语数据集

    该研究介绍了一个新的数据集Taskmaster-1，其中包括13,215个基于任务的对话，包括六个领域。数据集包含了更多现实和多样化的对话，使用了两种不同的方法进行数据收集并提供了多个基准模型，其中API调用和参数被标记为基于任务的对话系统的研究、开发和设计提供了新的前景。

    Sep, 2019

  • 基于对话的关系抽取

    本文介绍了第一个人工注释的基于对话的关系抽取（RE）数据集DialogRE，用于支持在对话中预测两个参数之间的关系，尤其是涉及多个句子的跨句子RE任务，并基于分析指出演讲者相关信息在该任务中发挥了关键作用。在提出一个新的评估指标以评估在会话环境中进行RE方法的性能之后，本文研究了几种常用的RE方法在DialogRE数据集上的表现，并通过实验证明，最佳表现模型的扩展可以在标准和会话环境的评估设置中都取得收益。

    Apr, 2020

  • DialoGLUE：面向任务导向对话的自然语言理解基准

    本文介绍了 DialoGLUE，一种公共基准，旨在鼓励对话研究的表示转移，领域自适应和样本有效任务学习。通过 DialoGLUE 基准，基线方法和评估脚本，我们希望促进发展更为通用的任务导向型对话模型。

    Sep, 2020

  • 语言模型作为标注工具：探索使用DialoGPT进行对话摘要

    本文介绍如何利用 DialoGPT 提供未标注的语料，作为无监督对话注释器，来对两个对话概括数据集 SAMSum 和 AMI 进行标注，使用 DialoGPT 进行标注取得了很显著的成果，并在 SAMSum 数据集上取得了新的最先进水平。

    May, 2021

  • DFM: 用于大规模对话导向任务学习的对话基础模型

    本文旨在构建一种统一的会话基础模型，通过收集大规模多样化的对话数据集和引入自监督任务，提高该模型的稳定性。实验结果表明，与其他相同规模的模型相比，该模型在跨领域对话任务方面有着领先的表现。

    May, 2022

  • DailyTalk: 用于会话文本转语音的口语对话数据集

    本文介绍了DailyTalk这一高质量的会话TTS数据集，该数据集包含来自开放领域对话数据集DailyDialog的2534个对话，并扩展了 LST-CNN-TTS 模型，结果表明 DailyTalk 数据集可用作通用 TTS 数据集，并且基线模型可以表示 DailyTalk 中的上下文信息。

    Jul, 2022

  • xDial-Eval: 多语言开放领域对话评估基准

    使用预训练语言模型和高质量标注的对话数据，最近关于开放域对话评估的无参考学习测量的进展主要集中在英文对话上，对这些测量指标在其他语言上的泛化性还没有得到充分研究。因此，为了解决这个问题，我们引入了一个基于英文对话评估数据集的xDial-Eval来进行多语言对话评估基准测试，并建立了自监督和多语言基线模型。与OpenAI的ChatGPT相比，最好的基线模型在所有数据集和语言上的平均Pearson相关系数分别提升了6.5%和4.6%，同时具有更少的参数。

    Oct, 2023

  • LUCID: LLM生成的复杂有趣对话短语

    通过模块化和高度自动化的LUCID系统，我们产生了一个包含4,277个跨100个意图的多领域、多意图对话的种子数据集，其中包含了各种具有挑战性的现象和多样的用户行为。

    Mar, 2024

  • 从对话中无监督提取对话策略

    本文提出了一种利用大型语言模型从数据集中提取对话策略的方法，通过将对话转换为规范形式的中间表示，并结合图形遍历算法提取对话流程，以提供对话设计人员更多的控制，从而改善对话策略开发过程的效率工具。

    Jun, 2024