对话响应选择任务自适应预训练
通过在大型通用领域对话语料库上预训练反应选择模型,然后利用小型特定领域数据微调预先训练的模型,本论文提出了一种有效的方法来部署任务导向对话中的响应选择,取得了很好的效果。在六个不同的应用领域,从电子商务到银行业,本方法都表现出了良好的效果。
Jun, 2019
本研究基于双向编码器转换器(BERT)作为强大的预训练语言模型,针对多轮检索式对话系统中的响应选择问题,提出了一种高效的基于领域特定语料库的后训练方法,发现后训练能帮助模型训练出具有更好上下文表示能力的单词,实验结果显示该方法在两个回答选择基准数据集上达到了新的最优状态(Ubuntu Corpus V1,Advising Corpus),R@1性能提高了5.9%和6%。
Aug, 2019
本文通过整合多个人机对话数据集,结合用户和系统记号改良预训练模型,提出了对话任务BERT(TOD-BERT)模型,并通过四个对话应用领域的实验验证,表明TOD-BERT在意图识别、对话状态跟踪、对话行为预测、响应选择等方面超过了强对话模型BERT,并且具有更强的少量数据学习能力。
Apr, 2020
本文研究了在检索型的多轮对话系统中,如何在给定用户和系统对话历史记录的情况下选择最优回复。本研究发现,利用预训练的语言模型可以解决此类回复选择任务,但这种方法只考虑了历史和候选回复的相关性,而忽略了多轮对话系统的时序性。因此,作者提出了一种称为utterance manipulation strategies (UMS)的方法,该方法通过插入、删除和搜索等策略来保持对话一致性。研究结果表明,UMS是高效的自我监督方法,且可以在多种公共基准测试数据集上推动现有技术的发展。
Sep, 2020
本文介绍了 DialoGLUE,一种公共基准,旨在鼓励对话研究的表示转移,领域自适应和样本有效任务学习。通过 DialoGLUE 基准,基线方法和评估脚本,我们希望促进发展更为通用的任务导向型对话模型。
Sep, 2020
本文提出了 DialogBERT,这是一种新型的对话响应生成模型,通过使用分层Transformer架构和两个训练目标,包括掩码语调回归和分布式语调顺序排名来提高先前基于PLM的对话模型,在三个多轮对话数据集上进行实验证明,相比于BART和DialoGPT,DialogBERT在定量评估方面表现出色,并且在人类评估中证明,DialogBERT比基线模型生成的响应更连贯、信息量更大,并更加接近人类表现。
Dec, 2020
本文探讨了领域自适应预训练目标对下游任务的有效性,并通过实验表明,适当的领域自适应预训练目标能够显著提高强基线在对话理解任务上的性能,从而实现了最新的最优表现。
May, 2021
研究发现,为了适应特定领域的无标签数据,引入进一步的预训练阶段可以带来积极影响,不同的下游任务需要适当的先前任务作为进一步的预训练任务来弥合任务公式差距,并针对多个任务导向的对话下游任务设计各种任务以提高其性能。
Sep, 2021
本研究对开源聊天机器人的多种回复生成方法进行了系统评估,提出了利用手动注释筛选出的多个正向回复和负向回复,从而提高模型效果的新训练数据,并实验证明性能较之采用对抗训练数据有更显著提升。
Aug, 2022
本文提出两种具有辅助任务的模型,用于响应选择,并在MultiWOZ 2.1数据集上取得了107.5和108.3的综合分数,优于具有三倍以上的参数基线模型。
Aug, 2022