无监督领域自适应的多源注意力
本文介绍了一个关于在情感分析中领域适应的研究。我们对领域相似度度量进行了广泛的研究,提出了新的表示方法、度量方法和数据选择。在推文和评论的大规模多领域适应设置中,我们评估了所提出的方法,并证明了它们一致地优于强随机和平衡的基线方法,而我们的选择策略优于实例级选择,并在大型评论语料库上获得了最佳分数。
Feb, 2017
通过将领域适应问题视为嵌入投影任务,我们提出了一种新的方法,该模型可以将两个单域嵌入空间投影到一个双域空间,以预测情感分类,并在20个来源目标域对情感分类进行领域适应实验,并在高度背离的域中表现明显优于现有技术。
Jun, 2018
本论文提出了一种用于多源无监督领域自适应的专家混合方法,旨在显式地捕获目标示例与不同源域之间的关系,以点到集度量为表达方式,通过元训练无监督地学习这个度量,并在情感分析和词性标注方面进行实验,证明了我们的方法始终优于多个基准线,并可以稳健地处理负迁移。
Sep, 2018
研究了领域自适应算法在目标域的性能与源域误差和数据分布之间的差异度量函数的关系,提出了一种基于距离度量的方法用于NLP任务,开发了一个DistanceNet模型和DistanceNet-Bandit模型,证明了这些模型在无监督领域适应中的优越性。
Jan, 2020
提出了基于多源域自适应方法的两种转移学习框架来执行情感分析,其中关键特征是基于权重方案的无监督领域适应框架和基于两阶段训练的无监督领域适应框架,成果展示了比无监督的最新竞争对手更具有实用性的性能表现。
Jun, 2020
本文中,我们探索了使用预训练的语言模型进行下游任务的无监督领域适应(UDA)。我们提出了UDALM,一种微调过程,使用混合分类和蒙面语言模型损失,可以以强健和样本高效的方式适应目标域分布。我们的实验表明,使用混合损失训练的模型的性能与可用目标数据的数量成比例,并且可以有效地用作UDA训练中的停止准则。此外,我们还讨论了A距离和目标误差之间的关系,并探索了域对抗训练方法的一些局限性。我们的方法在Amazon评论情感数据集的12个领域对上进行评估,得到了91.74%的准确率,比最先进技术提高了1.11%的绝对值。
Apr, 2021
本文提出了CAN-CNN模型,利用Category Attention Network和 Convolutional Neural Network自动捕捉领域共享的情感词和领域特定的情感词,以改进领域适应的性能,并获得了比其他基线模型更好的结果。
Dec, 2021
本文研究深度学习中前馈源自适应的应用及其改进,通过交叉关注机制自适应目标数据集,探索自动化实例选取提升性能,实验表明我们提出的框架能显著改进现有方法。
Jul, 2022
通过在大规模预训练语言模型中插入小的瓶颈层,我们提出了两种无监督领域自适应更加参数高效的方法,通过实验表明,我们的简单方法在自然语言推理和跨领域情感分类任务中性能良好。
Feb, 2023
通过无监督的领域自适应方法以及在上下文学习环境下的查询元素子集检索策略,我们研究了适应语言模型从源领域到目标领域的问题,以学习目标领域分布并通过语言建模实现任务信号的适应,从而在情感分析和命名实体识别任务中实现了显著的性能提升。
Nov, 2023