神经语言模型的域自适应权衡
本文提出了一种新颖的领域自适应方法——“混合微调”,用于神经机器翻译。该方法将微调和多领域 NMT 两种现有方法相结合,并在一个混合了内外领域语料库的平行语料库上对NMT模型进行微调,然后通过增加人工标记来指示特定领域对所有语料库进行增强。我们在实证基础上比较了我们的方法与微调和多领域方法,讨论了它的优点和缺点。
Jan, 2017
本文介绍了『Domain Differential Adaptation(DDA)』的框架,该框架通过使用相关任务中的模型直接建模不同领域之间的差异,从而成功地应用于神经机器翻译的领域自适应中,并在多个实验设置中实现比其他替代方法更好的改进效果。
Oct, 2019
本篇综述针对最近的研究进展,对不需要标记目标领域数据的神经无监督领域自适应技术进行了概述,包括从传统非神经方法到预训练模型迁移的方法,并揭示了自然语言处理任务类型中存在的偏见问题以及未来的研究方向,特别是面向 NLP 的超分布通用化需求。
May, 2020
本文针对神经机器翻译中的无监督领域自适应问题,提出一种跨语料库数据选择方法,通过对多语言BERT进行对比学习,实现源语言和目标语言之间的表示对齐,从而实现零样本领域分类器的可转移性,并且通过联合学习翻译任务和领域区分任务来适应新领域。我们在五个不同的领域和三种语言对的神经机器翻译上进行了跨语料库数据选择方法的评估,并在COVID-19疫情实时翻译中进行了应用验证, 实验结果表明,我们提出的方法相对于基线方法的BLEU指标得分提高了1.5个百分点。
Sep, 2021
本文探讨了基于元学习的神经机器翻译领域自适应的两个问题;一是如何实现跨领域鲁棒性,即在训练数据包括两个领域时获得高质量的翻译结果;二是如何实现适应性,即仅利用数百个领域内的平行句子对系统进行微调。我们的研究表明,我们提出的元学习模型(RMLNMT)能够显著提高模型的领域鲁棒性和适应性,同时包括已知领域和未知领域。
Dec, 2021
本文提出了一种使用计算有效的适配器方法在多个不同领域适应的方法,其通过冻结预先训练的语言模型并与每个节点相关联的适配器权重组合,实现相关领域之间的参数共享。GPT-2和C4中最多的100个网站上的实验结果表明,这种方法可以全面提高领域内性能,并提供了一种推理时间算法来推出新领域的泛化性能,同时只能增加成本。
Dec, 2021
本文比较了NLP中使用不同方法处理数据量不足的问题,提供了使用少量标记训练数据来构建NLP应用的指南。虽然预训练语言模型的转移学习在各种任务中都表现出色,但其他方法的性能差别不大,而且需要的计算成本更少,从而显著降低了预算和环境成本。我们研究了几种这样的替代方案的性能权衡,包括可以加速训练175K倍且不需要单个GPU的模型。
Mar, 2022
本文介绍了近年来自然语言处理中预训练语言模型(PLMs)的最新进展,并为适应目标领域提供了一种有效的方法。考察了PLMs的应用问题并提出了域自适应方法的分类方案,包括输入扩充、模型优化和个性化等方法。
Nov, 2022
大型语言模型的新兴能力是利用少量示例来学习在新领域和任务中执行的能力,本文通过针对专门的培训目标进行微调展示了一个更小的模型可以被训练用于执行上下文学习,在神经机器翻译的领域适应任务上进行了示例。通过这种上下文学习的能力,模型可以利用相关的少量示例将其输出适应到该领域。我们将这种域自适应的质量与传统的监督技术以及基于400亿参数的大型语言模型的上下文学习进行了比较。我们的方法允许对多个领域进行高效的批处理推理,并在翻译质量和即时适应率方面优于现有技术基线,也就是在展示一次示例后重新生成特定术语的能力。
Sep, 2023