学生 - 教师架构在元学习环境下用于对话领域自适应
提出了基于元学习的领域自适应对话生成方法(DAML),该方法基于单域对话数据和元学习算法进行训练,并能够在新领域中学习出一种具有竞争力的对话系统。在模拟对话数据集上评估该方法的表现,实现了最先进的性能,该性能可推广到新任务。
Jun, 2019
本研究提出一种基于知识蒸馏的领域自适应技术,针对多源无监督情感分析数据集,在考虑多个教师及其领域专业性的基础上,实现了最优结果,并提出一种可信度度量方法,用于选择高置信度示例及解决单一源情况下的领域适应问题。
Feb, 2017
本文提出了基于 GPT-2 微调多领域 MetaLWOz 数据集的混合生成 - 检索模型,具有稳健、多样的响应生成能力,在领域自适应任务中取得了最优结果,并在适应未见过的 MultiWOZ 数据集时表现出竞争力的泛化性能。
Mar, 2020
本文提出了一种新的元课程学习方法,通过先学习相似领域的课程以避免早期陷入糟糕的局部最优,然后学习各自的课程以提高模型鲁棒性从而改善低资源神经机器翻译领域自适应问题。实验结果表明,这种方法可以提高熟悉和不熟悉领域的翻译性能。
Mar, 2021
本文提出一种通过领域专家教师和一个通用学生模型共同编制一个多领域对话管理器的新方法,解决了多领域对话系统中复杂的对话状态空间和策略生成质量受限的问题。实验结果表明,该方法在多领域和单领域设置中的结果与现有技术水平竞争力相当。
May, 2020
本文提出一种用于领域自适应的方法,不需要转录数据,而是使用源域和目标域的无标记平行数据,利用教师 / 学生学习方法在目标域中训练模型,并在两种场景下进行评估,实现了显著的准确率提升,尤其是当使用模拟训练数据时,增加了模型的鲁棒性。
Aug, 2017
该论文提出一种基于元学习的框架来进一步增强现有领域适应算法的性能,通过在线的最短路径元学习框架改进了无监督和半监督多源领域适应技术 (DANN,MCD 和 MME),实验表明达到了多项 DA 基准的最佳效果。
Apr, 2020
本文探讨了基于元学习的神经机器翻译领域自适应的两个问题;一是如何实现跨领域鲁棒性,即在训练数据包括两个领域时获得高质量的翻译结果;二是如何实现适应性,即仅利用数百个领域内的平行句子对系统进行微调。我们的研究表明,我们提出的元学习模型(RMLNMT)能够显著提高模型的领域鲁棒性和适应性,同时包括已知领域和未知领域。
Dec, 2021
本文的研究着重于文本识别问题,通过提出元自学习方法 (Meta Self-Learning) 和收集包含 5 个不同领域的超过 5 百万张图像的多源领域适应数据集,提供了一个基准测试,实验结果证明了我们的方法的有效性。
Aug, 2021
本文提出了一种使用计算有效的适配器方法在多个不同领域适应的方法,其通过冻结预先训练的语言模型并与每个节点相关联的适配器权重组合,实现相关领域之间的参数共享。GPT-2 和 C4 中最多的 100 个网站上的实验结果表明,这种方法可以全面提高领域内性能,并提供了一种推理时间算法来推出新领域的泛化性能,同时只能增加成本。
Dec, 2021