本研究提出了RiSAWOZ，这是一个大规模的、多领域的中文人机对话数据集，并提供了丰富的语义注释和对话自然语言描述，可用于对话系统的基准比较和未来研究的任务导向对话建模。

Oct, 2020

本文提出了一个包含最大的2.8B参数的中文对话系统EVA，使用最大的中文对话数据集WDC-Dialogue进行预训练，实验证明EVA在人机会话的多轮交互中表现优异，超过了其他中文预训练对话模型。

Aug, 2021

本文研究大规模预训练对于中文场景下开放域对话系统的影响，提出 EVA2.0 模型，并通过自动和人工评估证明该模型在公开数据集上表现更优，同时讨论了该工作的局限性和未来方向。

Mar, 2022

提出了 CGoDial 多领域目标导向对话评估新挑战性和综合性中文基准，包括三个使用不同知识来源的数据集（基于插槽的对话、基于流的对话和基于检索的对话），实验设置中考虑了训练集和测试集的不同组合，其中包括使用真实会话数据或通过众包添加口语特征来填补学术基准和口语场景之间的差距。

Nov, 2022

使用预训练语言模型和高质量标注的对话数据，最近关于开放域对话评估的无参考学习测量的进展主要集中在英文对话上，对这些测量指标在其他语言上的泛化性还没有得到充分研究。因此，为了解决这个问题，我们引入了一个基于英文对话评估数据集的xDial-Eval来进行多语言对话评估基准测试，并建立了自监督和多语言基线模型。与OpenAI的ChatGPT相比，最好的基线模型在所有数据集和语言上的平均Pearson相关系数分别提升了6.5%和4.6%，同时具有更少的参数。

Oct, 2023

发布了一个新的大规模对话质量评估数据集（DiQAD），用于自动评估开放域对话质量。

Oct, 2023

DIALIGHT是一个用于开发和评估多语言任务导向对话系统的工具包，它通过使用预训练语言模型（PLMs）的微调以及利用大型语言模型（LLMs）的零-shot和上下文学习能力，促进了多种ToD系统之间的系统化评估和比较。我们的评估发现，虽然PLM的微调可以提高准确性和一致性，但基于LLM的系统在产生不同且受欢迎的回应方面表现出色。然而，我们也发现LLMs在遵守任务特定指令和生成多语言输出方面存在重大挑战，为未来研究提供了重要的方向。我们希望这个开放源代码的工具包将成为开发和适当评估多语言ToD系统的研究人员的宝贵资源，并降低当前在该领域的入门门槛。

Jan, 2024

我们提出了一个用于评估英语作为第二语言（ESL）说话者交互对话的评估框架。我们的框架收集对话级别的交互标签（例如主题管理；总共4个标签）和微级别的跨度特征（例如反馈；总共17个特征）。通过构建各种基于机器学习的模型，我们研究了微级别特征如何影响ESL对话的（更高级别的）交互质量。我们的结果表明，某些微级别特征与交互质量强相关，例如参考词（例如she、her、he），揭示了更高级别对话质量和更低级别语言信号之间的新见解。我们的框架还提供了一种评估ESL交流的方法，这对语言评估很有用。

Jul, 2024

本文介绍了GenResCoh生成的响应目标一致性的轻量级、开源和多语言对话评估器，与GPT-4相比，ECoh在多语言检测能力上表现更优，同时提供的解释与教师模型生成的解释在质量上基本一致。

Jul, 2024

本研究解决了当前大语言模型在生成自然对话时的不足，尤其是在实际应用中如聊天机器人和心理咨询中。通过引入NICO数据集，该研究提供了一种新方法，使用多样化的日常主题和社交互动类型生成对话，并通过修订提高自然性。实验结果显示，NICO能有效提升大语言模型的自然对话能力，具有重要的潜在影响。

Aug, 2024