Dec, 2020

RADDLE：一个稳健的面向任务型对话系统的评估基准与分析平台

PDF
TL;DR为了最大限度地提高面向任务的对话系统的实用性，该论文引入了 RADDLE 基准，该基准是一个语料库和工具的集合，用于评估模型在不同领域的性能。通过包括训练数据有限的任务，RADDLE 旨在鼓励具有强大泛化能力的模型。通过现有模型的评估，发现它们在鲁棒性评估方面不尽如人意，这提示了未来的改进机会。
task-oriented dialog systemsraddle benchmarkgeneralization abilityrobustness evaluationpre-training
发现论文，激发创造
  • RADE：基于参考的开放领域对话评估

    使用参考答案辅助的多任务学习框架可以评估开放领域对话系统，有效解决多对多问题，通过人工标注获取多个评分而非仅限于黄金答案，实验证明该方法优于现有基准。

    Sep, 2023

  • 评估基于任务的对话系统在口语交流中的鲁棒性：“你有多强大？

    研究口语任务导向对话状态跟踪和基于知识的对话建模，提出使用已有数据集不足的问题，借助 n-best 语音识别假设，改善任务绩效，并说明现有模型在口语数据方面存在不足，研究结果呈现有利于基于语音的任务导向对话系统的基准测试数据集。

    Sep, 2021

  • R-Eval: 评估检索增强大型语言模型的领域知识的统一工具包

    我们提出了 R-Eval 工具包，它是一个 Python 工具包，旨在简化对不同 RAG 工作流与 LLMs 的评估，通过在特定领域上支持流行的内置 RAG 工作流，并允许将定制化测试数据结合在一起。我们评估了 21 个 RALLMs 在三个任务级别和两个代表性领域上的表现，揭示了在不同任务和领域中 RALLMs 的效果差异的重要性，强调了在选择 RAG 工作流和 LLM 组合时考虑任务和领域要求的重要性。

    Jun, 2024

  • 强化学习任务导向对话管理基准测试环境

    本文旨在提供用于对话模型开发与评估的一组具有挑战性的模拟环境，其中包括常用的参数算法和非参数算法，并使用公共 PyDial 工具包实现了这些环境和策略模型，以建立一个实验测试平台并促进可重现性的实验。

    Nov, 2017

  • DialoGLUE：面向任务导向对话的自然语言理解基准

    本文介绍了 DialoGLUE，一种公共基准，旨在鼓励对话研究的表示转移，领域自适应和样本有效任务学习。通过 DialoGLUE 基准，基线方法和评估脚本，我们希望促进发展更为通用的任务导向型对话模型。

    Sep, 2020

  • 面向口语对话的任务导向对话建模的通用模型

    本文介绍了我们在 DSTC-10 上构建对话模型的方法。为缩小口头和书面数据之间的差距，我们采用了大量数据扩增策略，包括人工误差注入和文本转语音转换。我们改良了预训练语言模型，并对每个子任务应用了集成算法，以训练稳健的口头对话模型。我们的方法在官方评估中排名第三，在最终的正式人类评估中排名第二。

    Mar, 2022

  • RD2Bench：基于数据为中心的自动研发与设计

    提出了一种名为 RD2Bench 的基于真实数据的人工智能研发自动化基准系统，它旨在评估各种模型能力的相互作用和协同效应，以帮助选择表现良好的可信模型，从而自动化研究和开发的过程。

    Apr, 2024

  • 面向任务对话的语言理解鲁棒性测试

    本研究针对自然语言理解模型在实际对话系统的应用中容易出现的波动和变化问题，提出了一种模型无关的工具箱 LAUG，涵盖语言变体，语音特性和噪声扰动三个方面的四种数据增强方法，揭示了现有模型中的严重鲁棒性问题，提供了一种使用 LAUG 生成的增强数据集来促进语言理解测试鲁棒性的方法。

    Dec, 2020

  • DiQAD: 一个用于端到端开放域对话评估的基准数据集

    发布了一个新的大规模对话质量评估数据集（DiQAD），用于自动评估开放域对话质量。

    Oct, 2023

  • TOAD: 任务导向的自动对话系统具有多样化的回应风格

    鉴于大型语言模型的最新进展，下一代虚拟助手的期望包括在各种使用场景中增强自然性和适应性。为了解决为面向任务的对话（TOD）创建高质量的注释数据的缓慢和昂贵问题，我们介绍了面向任务的自动对话（TOAD），以及其自动生成流程。TOAD 数据集模拟了真实的应用程序上下文交互，并提供了多种系统响应样式选项。我们在两个响应生成任务上对 TOAD 进行了基准测试，结果表明，对建模更冗长或没有用户表情的响应更具挑战性。

    Feb, 2024