本文提出了一种新的多任务学习方法,旨在为面向任务的对话系统中的语言理解(LU)和对话状态跟踪(DST)进行学习。多任务训练使得编码用户话语的神经网络层用于 LU 和 DST,通过减少网络参数并提高性能。 本研究提出了 DST 框架,用于考虑有大量或无限可能值的插槽及以往对话中未见过的槽值,并探讨了在 LU 和 DST 输出上使用计划采样来弥合训练和推理之间的差距。
Nov, 2018
本文介绍了一种简单而有效的数据中心方法,用于改善个性化对话代理。通过利用针对两个任务的原始 - 对偶结构(预测对话响应和个人资料之间的联系),我们增强了相关人物角色,以改进对话数据集 / 代理,并修复了基准数据集的注释问题,其巨大地增加了模型的精度,体现在 Persona-Chat 上的实验中,我们的方法在准确性上比预训练 LM 高出 11.7 个百分点。
Feb, 2022
该研究通过四种自动方法在单词和句子级别上增强数据,提高目标导向对话模型的数据效果,并在两个数据集上进行实验,结果表明四种数据扩充方法在 Success F1 score 方面均能显著提高。进一步分析确认,增加用户话语的多样性可以使端到端模型学习特征更为稳健。
Dec, 2019
本研究探讨了多任务学习在语音处理中的优势,通过使用自动语音识别和意图分类或情感分类的双重目标来训练模型,我们的模型虽然规模适中,但我们的研究表明多任务学习可以在低资源情况下与基线模型竞争,并且在情感分类上表现与端到端模型相当。
Nov, 2022
本论文提出了一种新框架,利用高资源语言来增强低资源语言的对话生成能力,并通过跨语言增强模型(CLEM)来解决 DGDS 中数据稀缺的问题,包括对抗训练检索,翻译训练和融合生成技术。该方法在 DialDoc 2023 竞赛中获得第四名,表明该模型在跨语言对齐任务中具有很好的效果。
May, 2023
本文描述了一种基于元学习的方法,通过选择性地从相关的对话任务数据中学习,使用少量的数据以及来自相关对话任务的数据来训练神经对话系统,从而显著提高了对话任务的准确性。
Oct, 2021
在低资源环境下,通过设计一种解耦响应解码器使模型可以仅从大量未接地对话和非结构化文档中学习,而只使用有限的训练示例就能很好地拟合剩余的小参数。在两个基准测试上的评估结果表明,我们的模型仅使用 1/8 的训练数据就可以实现最先进的性能,而且对领域外知识有很好的概括能力。
Feb, 2020
本文研究了多语言预训练 seq2seq 模型在跨语言对话状态追踪中的可转移性,尝试了联合训练、预训练等不同设置,并发现了转化能力较低的问题。
Jan, 2021
本论文探讨了在缺少数据资源的情况下,利用预先训练好的语言模型进行对话理解中的数据增强的问题,并提出了一种利用弱监督滤波器迭代增强质量的新方法。实验结果表明,在 DailyDialog 和 Facebook 多语言任务导向对话的情感、行为和意图分类任务上使用少量数据作为辅助训练集,可以达到或超过现有的最佳性能。
Oct, 2022
本文提出了基于弱监督学习的三阶段学习框架和一种变体 Transformer 来构建知识驱动的对话系统。评估结果表明该方法在少量训练数据甚至零资源的情况下仍然表现出色。
Sep, 2021