EMNLPOct, 2023

NormDial: 用于建模社会规范遵守与违规的可比较双语合成对话数据集

PDF
TL;DR社会规范对人际交往产生根本性的影响。本研究介绍了 NormDial，一个高质量的双向对话数据集，其中具有中美文化中社会规范的每个交互回合的注释。通过引入社会规范遵守检测任务，我们使用人机协同流程使用少量由专家注释的社会规范提示大型语言模型在中英文中合成生成了数据集。我们通过人工评估表明我们生成的对话质量很高，并进一步评估现有大型语言模型在此任务上的性能。研究结果指向了跨语言和文化对话背景中了解社会规范微妙之处的新方向。
发现论文，激发创造
  • SocialDial: 一个用于社交感知对话系统的基准测试

    本文提出了第一个基于中国社会文化的社交感知对话语料库 - SocialDial，使用 ChatGPT 生成了 4,870 段数据，并评估了使用 BERT 和 RoBERTa 等预训练模型的数据集。

    Apr, 2023

  • RENOVI: 一个解决社会文化对话中规范违反的基准

    推广 Norm 违规疗法，ReNoVi 是一个大规模对话语料库，包含 9258 个带有社会规范标注的多轮对话，以及定义了一系列任务，以逐步理解和纠正违规行为，从而使交互式 AI 系统具备疗法能力。

    Feb, 2024

  • xDial-Eval: 多语言开放领域对话评估基准

    使用预训练语言模型和高质量标注的对话数据，最近关于开放域对话评估的无参考学习测量的进展主要集中在英文对话上，对这些测量指标在其他语言上的泛化性还没有得到充分研究。因此，为了解决这个问题，我们引入了一个基于英文对话评估数据集的 xDial-Eval 来进行多语言对话评估基准测试，并建立了自监督和多语言基线模型。与 OpenAI 的 ChatGPT 相比，最好的基线模型在所有数据集和语言上的平均 Pearson 相关系数分别提升了 6.5% 和 4.6%，同时具有更少的参数。

    Oct, 2023

  • DuRecDial 2.0：一份用于对话式推荐的双语平行语料库

    提供了一种双语平行人对人推荐对话数据集并通过采用严格的质量控制程序进行了注释， 实验结果表明，使用额外的英文数据对汉语对话推荐有性能提升作用。

    Sep, 2021

  • MathDial: 基于数学推理问题的具有丰富教育性质的对话教学数据集

    本文介绍了一种用于收集大型语言模型生成对话的框架，用来收集 MathDial 数据集，这个数据集由约 1.5k 个多步骤数学词问题的辅导对话组成，并展示了该数据集具有丰富的教学特性，可以用于调整语言模型以成为更有效的辅导员，并强调了需要解决研究共同体的挑战。

    May, 2023

  • CGoDial：中文目标导向对话评估的大规模基准

    提出了 CGoDial 多领域目标导向对话评估新挑战性和综合性中文基准，包括三个使用不同知识来源的数据集（基于插槽的对话、基于流的对话和基于检索的对话），实验设置中考虑了训练集和测试集的不同组合，其中包括使用真实会话数据或通过众包添加口语特征来填补学术基准和口语场景之间的差距。

    Nov, 2022

  • ComperDial: 基于常识和角色的对话数据集与基准

    我们提出了一个新的基准系统 ComperDial，用于为开放领域对话系统的训练和评估提供测评度量标准。ComperDial 包括来自 99 个对话代理的 1,485 个对话中的 10,395 个对话转折的人工评分响应，除了单个对话转折的评分外，也包含对整个对话进行人工注释的评分，我们利用 ComperDial 开发了一种新的自动评估度量标准 CPDScore，实验证明 CPDScore 与人类判断更相关。我们将 ComperDial 和 CPDScore 发布给社区，以加速开放领域对话系统自动评估度量标准的开发。

    Jun, 2024

  • 通过情境对齐和可解释的文本蕴涵比较社会文化规范的相似与不同

    基于环境学习的描述性社会规范模型构建方法，探索中美两国社会规范文化差异，构建对齐社会情境下 3,069 个高质量社会规范的数据集，并提出可检验社会规范蕴含的任务，从而证明现有模型在自动和人类评估方面均有提升空间。

    May, 2023

  • 大型语言模型的社会规范测量

    我们提出了一个新的挑战，以检验大型语言模型是否理解社会规范。我们的数据集需要对社会规范有基本的理解才能解决，它包含了 402 种社会规范技能和 12,383 个问题，涵盖了从意见和争论到文化和法律的广泛社会规范。我们根据 K-12 课程设计了数据集，使得能够直接将大型语言模型的社会理解与人类，特别是小学生进行比较。尽管先前的研究在我们提出的基准测试上几乎随机准确，但最近的大型语言模型如 GPT3.5-Turbo 和 LLaMA2-Chat 能够显著提高性能，仅稍微低于人类的表现。然后，我们提出了一种基于大型语言模型的多智能体框架，以提高模型理解社会规范的能力。这种方法进一步改进了大型语言模型与人类的水平相当。考虑到大型语言模型在现实应用中的日益普及，我们的发现尤为重要，为未来的改进提供了独特的方向。

    Apr, 2024

  • DailyDialog：一个手工标注的多轮对话数据集

    我们开发了一个高质量的多回合对话数据集 DailyDialog，包括人类编写的不太嘈杂的语言，反映我们日常交流方式并涵盖我们日常生活的各种主题。我们手动标记了这个数据集的通信意图和情感信息，并在 DailyDialog 数据集上评估现有的方法，希望它有益于对话系统的研究领域。

    Oct, 2017