Apr, 2021

无监督领域自适应语言建模

HTML
PDF
TL;DR本文中，我们探索了使用预训练的语言模型进行下游任务的无监督领域适应（UDA）。我们提出了UDALM，一种微调过程，使用混合分类和蒙面语言模型损失，可以以强健和样本高效的方式适应目标域分布。我们的实验表明，使用混合损失训练的模型的性能与可用目标数据的数量成比例，并且可以有效地用作UDA训练中的停止准则。此外，我们还讨论了A距离和目标误差之间的关系，并探索了域对抗训练方法的一些局限性。我们的方法在Amazon评论情感数据集的12个领域对上进行评估，得到了91.74％的准确率，比最先进技术提高了1.11％的绝对值。
发现论文，激发创造
  • 领域对抗神经网络

    本研究提出了一种针对领域自适应问题的新型表示学习算法, 其中训练和测试数据来自类似但不同的分布, 实验结果表明，我们的神经网络算法对领域适应具有更好的性能表现，而不管是标准神经网络还是支持向量机，即使是使用 Chen 等人提出的最先进的边缘化堆栈去噪自编码器的输入特征提取。

    Dec, 2014

  • 无监督多类域自适应：理论、算法和实践

    本文介绍了一种基于MCSD的多类域间自适应的学习方法(Multi-class Domain-adversarial learning Networks （McDalNets）), 通过使用数据相关的 PAC 常数, 研究了其有效性, 并引入了结合了领域混淆和歧视的新型敌对策略的域对称网络（SymmNets）来提高多类域间自适应性能。

    Feb, 2020

  • 无监督领域自适应的多源注意力

    该论文探讨了如何选择多个源来进行领域适应，使用注意力学习算法解决了多源无监督领域适应中的源选择难题，并在情感分类基准测试中表现出更好的性能。

    Apr, 2020

  • 基于对抗训练的多源无监督领域自适应情感分析

    提出了基于多源域自适应方法的两种转移学习框架来执行情感分析，其中关键特征是基于权重方案的无监督领域适应框架和基于两阶段训练的无监督领域适应框架，成果展示了比无监督的最新竞争对手更具有实用性的性能表现。

    Jun, 2020

  • BERT无监督领域自适应的知识蒸馏

    利用BERT预训练语言模型，结合领域适应性方法和知识蒸馏算法，提出了一种简单而有效的无监督领域适应方法，称为对抗适应与蒸馏，在30个领域对跨领域情感分类的任务中取得了最先进的性能。

    Oct, 2020

  • 深度无监督域自适应：近期进展和展望综述

    深度学习在许多领域都展现出其超凡表现，但仅仅依靠大量标记数据来训练模型并不能保证其在面临目标域的分布变化时仍有出色的表现，无监督域自适应通过利用源领域标记数据和目标领域未标记数据来解决该问题，并已在自然图像处理、自然语言处理等领域取得了许多令人期待的结果，该文对该领域的方法和应用进行了系统比较，并强调了当前方法的不足及未来研究方向。

    Aug, 2022

  • UDApter - 使用Adapter的高效域适应

    通过在大规模预训练语言模型中插入小的瓶颈层，我们提出了两种无监督领域自适应更加参数高效的方法，通过实验表明，我们的简单方法在自然语言推理和跨领域情感分类任务中性能良好。

    Feb, 2023

  • 无需目标域标签，如何评估领域自适应模型？一种无监督领域自适应评估指标

    本文提出了一种称为Transfer Score的度量标准，它通过评估分类器的空间均匀性、特征空间的传递性和区分度，实现了无监督评估域自适应模型的功能，并在公共数据集上进行了广泛的实证研究，证明了Transfer Score度量标准在评估和提高自适应技术整体效果方面的工具性和潜力。

    May, 2023

  • 在上下文中适应：通过上下文中学习的检索增强域适应

    通过无监督的领域自适应方法以及在上下文学习环境下的查询元素子集检索策略，我们研究了适应语言模型从源领域到目标领域的问题，以学习目标领域分布并通过语言建模实现任务信号的适应，从而在情感分析和命名实体识别任务中实现了显著的性能提升。

    Nov, 2023

  • FEUDA: 极其简便的基于提示的无监督领域自适应

    通过在无标签数据上进行句子掩码模型训练（MLM）和源标记数据上进行监督指导训练，采用自监督学习和提示模型术语分类方法，我们提出了一种叫做困难易化领域适应（FEUDA）的方法，通过训练一个自回归语言模型，从源和目标领域的标签和无标签示例中，来学习领域不变表征，以提高目标领域的分类性能。

    Jan, 2024