多任务学习在开放域对话系统中的实证研究
本文提出两种具有辅助任务的模型,用于响应选择,并在 MultiWOZ 2.1 数据集上取得了 107.5 和 108.3 的综合分数,优于具有三倍以上的参数基线模型。
Aug, 2022
本研究探讨了将中间表示作为深度网络低层的辅助监督的方法,将传统的 pipeline 方法与端到端的训练方法相结合,实验结果表明这种方法提高了对话语音识别的识别准确性。
Apr, 2017
本文研究了在多任务学习框架下,辅助文本翻译任务对语音到文本翻译任务的影响及参数共享等解决方案,提出三种方法以提高翻译质量,实验结果表明该方法在几种语种翻译任务中相对于基线都达到了最新水平。
Jul, 2021
为了解决注意力语言模型在任务导向对话中的缺陷,这篇论文引入了修改过的训练目标和巨量数据增强技术,研究数据来源的多重组合方式,并通过人工和自动评估证明了方法的高效性,取得了与最先进技术的竞争性表现。
Feb, 2021
本研究使用预训练模式和微调模式对基于 Transformer 的语言模型进行实证研究,探讨其在开放域对话生成任务中的性能表现和多样性,发现各种变形策略对生成结果都有不同程度的影响。
Mar, 2020
本研究提出了一种基于预训练语言模型的上下文相应匹配模型,引入了四个自我监督任务,并与 auxiliary tasks 一起多任务训练 PLM-based 响应选择模型,旨在提高多轮响应选择的准确性。实验结果表明,在检索式对话中,引入辅助自我监督任务对多轮响应选择带来了显著的改进,本模型在两个数据集上都达到了最新的最优结果。
Sep, 2020
本论文提出了一种基于 TRADE 的可转移对话状态生成器,结合简单有效的话语标记技术和双向语言模型的多任务学习模型,旨在解决基线性能在长对话上大幅下降的问题,最终在 MultiWOZ 2.0 数据集上实现了 52.04%的联合目标准确性,相对提高了 7.03%,成为了最新的最先进技术。
Apr, 2020
AUTODIAL 是一种多任务对话模型,通过使用平行解码器来预测对话行为、领域、意图和状态,较之 SimpleTOD 等生成式方法,使用分类式解码器可大幅度减少内存占用并提高推理速度,在三种对话任务上拥有 11 倍少的参数以及 3-6 倍的推理速度提升,可为在资源有限的环境下部署对话模型提供可行的选择。
Mar, 2023
本文介绍了我们在 DSTC-10 上构建对话模型的方法。为缩小口头和书面数据之间的差距,我们采用了大量数据扩增策略,包括人工误差注入和文本转语音转换。我们改良了预训练语言模型,并对每个子任务应用了集成算法,以训练稳健的口头对话模型。我们的方法在官方评估中排名第三,在最终的正式人类评估中排名第二。
Mar, 2022