OmniDialog: 用于任务导向对话系统的全能预训练模型
本研究探讨了数据稀缺对于多领域任务导向对话系统快速发展的限制,并提出了一种基于TransferTransfo和生成模型预训练的对话模型,并在MultiWOZ数据集上进行了验证,结果显示该模型可以有效地绕过显式策略和语言生成模块来实现对于任务的导向和推理。该方法有望缓解数据稀缺问题,进而支持构建更具吸引力和更流畅的任务导向的对话代理人。
Jul, 2019
该研究介绍了一个新的数据集Taskmaster-1,其中包括13,215个基于任务的对话,包括六个领域。数据集包含了更多现实和多样化的对话,使用了两种不同的方法进行数据收集并提供了多个基准模型,其中API调用和参数被标记为基于任务的对话系统的研究、开发和设计提供了新的前景。
Sep, 2019
提出了一种名为UniConv的神经结构,它能够同时训练多个模块,包括对话状态跟踪和回答生成器,用于多域任务导向的对话系统,实验表明其在MultiWOZ2.1基准测试上具有优异的性能。
Apr, 2020
本文介绍了 DialoGLUE,一种公共基准,旨在鼓励对话研究的表示转移,领域自适应和样本有效任务学习。通过 DialoGLUE 基准,基线方法和评估脚本,我们希望促进发展更为通用的任务导向型对话模型。
Sep, 2020
本文介绍如何利用 DialoGPT 提供未标注的语料,作为无监督对话注释器,来对两个对话概括数据集 SAMSum 和 AMI 进行标注,使用 DialoGPT 进行标注取得了很显著的成果,并在 SAMSum 数据集上取得了新的最先进水平。
May, 2021
本文提出了一种用于长对话理解和摘要的预训练框架,其中包括以窗口为基础的去噪方法和稀疏注意力机制,并通过实验表明DialogLM预训练模型显著优于现有的模型。
Sep, 2021
本文从对话建模技术的技术角度回顾了以往的方法,总结了对话理解的特点和挑战,并讨论了三种典型的对话建模模式,还对于提升PrLM在对话场景下的表现的对话相关预训练技术进行了分类。此外,本文突出了近年来的技术进步,并指出实证分析的教训和未来研究的前景。
Oct, 2021
这篇论文介绍了 GODEL(Grounded Open Dialogue Language Model),它是一种大型预训练语言模型,用于对话。与以前的模型相比,GODEL 利用了一种新的基于 Grounded 的预训练方法,以更好地支持适应广泛的下游对话任务。实验表明,GODEL 在少样本 Fine-tuning 方式下表现优异,具备更好的实用性和信息传达特征。
Jun, 2022
本文介绍了我们的Track 2模型,利用大规模真实世界的MobileCS中国TOD数据集,使用半监督学习和强化学习构建知识引导的对话模型,实现了任务导向对话系统的高效预测和人机交互。我们的系统在自动评估和人工交互中表现都极佳,尤其是 BLEU (+7.64) 和 Success (+13.6%) 方面比第二名更优秀。
Oct, 2022