本篇综述针对最近的研究进展,对不需要标记目标领域数据的神经无监督领域自适应技术进行了概述,包括从传统非神经方法到预训练模型迁移的方法,并揭示了自然语言处理任务类型中存在的偏见问题以及未来的研究方向,特别是面向 NLP 的超分布通用化需求。
May, 2020
本文介绍了一种基于示例的超网络适应算法,主要解决多源适应问题,以及如何应用于自然语言处理领域的领域自适应,实现超网络在情感分类方面的应用。
Mar, 2022
本文提出了一种简单的领域自适应方法,可以应用于使用交叉熵损失训练的神经网络,在字幕数据集上展示了该方法相对于其他领域自适应方法的表现提高。
Jul, 2016
本文关注的是无监督领域适应问题,该问题中只在源域内提供标签。文章试图从不同角度解释领域适应的类别,并提出了一些成功的浅层和深层领域适应方法。
Oct, 2020
本文介绍了『Domain Differential Adaptation(DDA)』的框架,该框架通过使用相关任务中的模型直接建模不同领域之间的差异,从而成功地应用于神经机器翻译的领域自适应中,并在多个实验设置中实现比其他替代方法更好的改进效果。
Oct, 2019
本文介绍了近年来自然语言处理中预训练语言模型(PLMs)的最新进展,并为适应目标领域提供了一种有效的方法。考察了 PLMs 的应用问题并提出了域自适应方法的分类方案,包括输入扩充、模型优化和个性化等方法。
Nov, 2022
本研究提出了一种针对领域自适应问题的新型表示学习算法,其中训练和测试数据来自类似但不同的分布,实验结果表明,我们的神经网络算法对领域适应具有更好的性能表现,而不管是标准神经网络还是支持向量机,即使是使用 Chen 等人提出的最先进的边缘化堆栈去噪自编码器的输入特征提取。
Dec, 2014
本文提出了一种新的领域适应的表示学习方法,使用神经网络架构从源域的有标签数据和目标域的无标签数据中推断出训练的特征,该方法增加了标准层和一个新的反向梯度层,可以在文本情感分析、图像分类以及人员重新识别等任务中有效实现领域适应。
May, 2015
通过多阶段逐步微调的方式,不需要改变模型或学习目标,可以显著提高自然语言处理模型在目标领域的适应能力。
Mar, 2021
本研究提出一种基于知识蒸馏的领域自适应技术,针对多源无监督情感分析数据集,在考虑多个教师及其领域专业性的基础上,实现了最优结果,并提出一种可信度度量方法,用于选择高置信度示例及解决单一源情况下的领域适应问题。
Feb, 2017