域内有什么?使用对抗训练学习域鲁棒文本表示
本研究提出了一种针对领域自适应问题的新型表示学习算法, 其中训练和测试数据来自类似但不同的分布, 实验结果表明,我们的神经网络算法对领域适应具有更好的性能表现,而不管是标准神经网络还是支持向量机,即使是使用 Chen 等人提出的最先进的边缘化堆栈去噪自编码器的输入特征提取。
Dec, 2014
本研究提出了一种无监督方法,学习特定领域的单词表示,以准确捕捉单词语义的领域特定方面,并使用所学习的单词表示进行域适应性处理,以在对多个不同领域对情感分类任务中获得最佳准确性,并显着优于现有基准。
May, 2015
本文提出了一种新的领域适应的表示学习方法,使用神经网络架构从源域的有标签数据和目标域的无标签数据中推断出训练的特征,该方法增加了标准层和一个新的反向梯度层,可以在文本情感分析、图像分类以及人员重新识别等任务中有效实现领域适应。
May, 2015
该研究提出了一种基于潜变量模型的多领域学习系统方法,可用于提取重要的领域信号,并在对抗性学习等方法中,相对于其他对比基准领域适应方法,显著提升了性能。
Jun, 2019
探索对抗训练方法以学习领域不变特征,从而使语言模型可以对域外数据集进行良好的推广。我们还审查了各种其他方法来提高我们的模型性能,包括通过改写句子实现数据增强、将回答跨度预测的结尾词映射到开始词上以及精心设计的退火函数。我们的初步结果表明,在结合这些方法的情况下,与基线相比,在域外验证数据集上我们能够实现EM分数15.2%的提高和F1分数5.6%的提高。
Jun, 2022
介绍了Stochastic Adversarial Network (SAN),通过引入多元高斯分布模型领域特定特征提取器的参数,与传统的权重向量不同,可生成许多领域特定特征提取器而不增加模型参数,同时结合域标签平滑和健壮的伪标签正则化以提高对抗训练的稳定性和特征区分能力,在两个主要的多领域文本分类基准测试上表现出竞争优势。
May, 2024