比较数据增强方法对于端到端任务导向型对话系统的效果
该研究通过四种自动方法在单词和句子级别上增强数据,提高目标导向对话模型的数据效果,并在两个数据集上进行实验,结果表明四种数据扩充方法在Success F1 score方面均能显著提高。进一步分析确认,增加用户话语的多样性可以使端到端模型学习特征更为稳健。
Dec, 2019
研究通过自我训练的方法,利用大量未标记的对话数据进一步改进预先训练的模型,以应对高昂的对话系统不同模块的标注成本问题,并证明该方法在少量标记数据可利用时可以一致提高现有预先训练模型的性能。
Aug, 2021
本文探讨了领域专业化预训练对任务定向对话的影响,并提出了一种领域适配器技术,通过构建和利用专门领域的资源,如DomainCC和DomainReddit来提高模型的任务性能。
Oct, 2021
本文提出了一种新的任务定向对话数据增强方法TOD-DA,它包括对话丰富和口语会话模拟器,可以增加大规模高质量带注释口语会话,以提高口语任务定向对话建模的鲁棒性。在DSTC10 Track2的两项任务中,我们的方法均排名第一,证明了TOD-DA的优越性和有效性。
Dec, 2021
本文提出了一种基于ChatGPT的文本数据增强方法(AugGPT),通过将训练样本中的每个句子重新表达为多个概念上相似但语义上不同的样本,提高了数据不变性和样本大小,并在少样本学习文本分类任务上取得了优越性能。
Feb, 2023
本文研究评估了三种不同的微调方法在七种不同的自然语言处理任务中的效果,结果表明数据增强可以有效提高微调后的模型性能,特别是在少样本学习任务中,持续的预训练可以将性能提高10%以上。
Jun, 2023
我们开发了一种新型的对话扩充模型,通过完整的对话上下文生成用户的回合,并通过语言模型的新提示设计和输出重新排序,所生成对话可直接用于训练下游对话系统,在常见的基准数据集MultiWoZ和SGD上,展示了我们的对话扩充模型生成高质量对话并使对话成功率较基准线提高多达8%。
Oct, 2023
多语种任务对话代理人的创建在训练数据获取成本高的情况下具有挑战性,通过改进训练数据效率的研究趋势,我们首次展示了上下文学习在解决多语种任务对话代理人中的有效性。通过将具有挑战性的对话状态跟踪(DST)子任务分解为更简单、更适合上下文学习的步骤,我们在多语种任务对话数据集X-RiSAWOZ上测试了我们的方法,并在6种语言上获得了以每轮对话的DST准确性为55.6%至80.3%的结果,看似比微调模型的SOTA结果(60.7%至82.8%的准确性)要差;我们在响应生成(RG)子任务上的BLEU分数也明显低于SOTA的结果。然而,在手动评估验证集后,我们发现通过纠正金标签错误和改进数据集注释模式,我们的启示式GPT-4在DST方面可以达到89.6%至96.8%的准确性,并且在不同语言上的响应生成中超过99%的正确率。这使我们得出的结论是,当前的自动度量指标严重低估了上下文学习的有效性。
May, 2024