Apr, 2023

自监督蒸馏的两阶段跨领域文本分类框架

PDF
TL;DR本文提出了一种二阶段跨域文本分类的框架，使用掩蔽语言模型和标记数据从源域进行模型微调，然后使用自监督蒸馏和目标域的无标注数据进一步微调模型，实验结果表明我们的方法在单源域（94.17％ ↑1.03％）和多源域（95.09％ ↑1.34％）适应都达到了最新的最先进水平。
cross-domain text classificationdomain-invariant featuresmask language modelingself-supervised distillationstate-of-the-art results
发现论文，激发创造
  • 基于样本自我蒸馏的半监督域自适应

    本研究提出了一种基于样本对的半监督领域自适应方法，该方法通过自蒸馏生成辅助特征，并通过最小化学生和辅助之间的输出差异来训练模型以减少领域之间和领域内的差异，在标准基准上实验结果表明该方法有效地减少了差异，并取得了明显的改进。

    Nov, 2021

  • 跨领域情感分类的自适应半监督学习

    本文提出一种面向跨域情感分类问题的方法，该方法采用半监督学习的想法，联合使用熵最小化和自举集成自我训练来整合未标记的目标数据进行分类器细化。实验结果表明，该方法可以更好地利用来自目标域的未标记数据，在各种实验设置中都取得了重大改进。

    Sep, 2018

  • 自我监督下的无监督领域自适应

    本文研究无监督领域自适应，提出了一种将源域和目标域之间的表示进行对齐的方法，从而使目标域数据的分类准确性更高。该方法利用自监督任务对两个域进行训练并成功地泛化到目标域。在实验中，我们获得了四个标准基准测试中的最先进结果，并在分割适应性方面取得了有竞争力的结果。

    Sep, 2019

  • 少量源标签域自适应交叉领域自监督学习

    本文针对存在部分数据标记时的无监督域自适应问题提出了一种新方法，即交叉领域自监督学习方法，它能够有效地学习既具有领域不变性又具有类别判别性的特征表示，它通过自监督学习和跨领域特征匹配实现跨域知识转移，并在三个标准基准数据集上实现了显著的性能提升。

    Mar, 2020

  • 文本分类的对抗自监督无数据蒸馏

    提出一种名为 AS-DFD 的新的两阶段无数据蒸馏方法，用于压缩大型基于 Transformer 的模型（例如 BERT），并且是第一个面向 NLP 任务设计的无数据蒸馏框架，在 Text Classification 数据集上验证了其有效性。

    Oct, 2020

  • 通过两阶段知识蒸馏实现黑盒源自由域适应

    本研究旨在解决源保密的问题，提出了一种基于知识蒸馏的两阶段方法，该方法只使用源模型的输出和目标数据来适应深度神经网络，并在三个跨域分割任务上取得了惊人的结果。

    May, 2023

  • 改善自监督语音处理模型在扭曲场景下的泛化性能

    本文提出采用交叉失真映射和域对抗训练技术对自监督学习的语音预训练模型进行知识蒸馏，以缓解性能差距问题，具有较好的性能表现。

    Oct, 2022

  • 跨层蒸馏和特征去噪用于跨领域少样本分类

    我们通过在训练阶段让目标领域中的一小部分无标签图像可访问，解决基于跨域 few-shot 分类的问题，同时通过指导网络的浅层学习更高级别的信息的跨层级知识蒸馏方法提取更有区分度的特征，以及通过特征去噪操作减少特征冗余并减轻过拟合，我们的方法在 BSCD-FSL 基准测试中平均超过了先前的最优方法 Dynamic-Distillation 在 1-shot 和 5-shot 分类任务上分别提升了 5.44% 和 1.37%。

    Nov, 2023

  • 通用源自由域自适应

    该研究提出了一种新的两阶段学习过程，以实现无监督域适应并实现源自由部署。在采购阶段，通过利用现有的源数据，在新颖的生成分类器框架中增强了模型拒绝源外分布样本的能力；在部署阶段，通过使用命名为源相似度度量的新型实例级加权机制，提出了一个简单而有效的源自由自适应目标，以设计一个统一的自适应算法，该算法可在各种范畴差异下运作，并实现了卓越的域适应性能。

    Apr, 2020

  • BERT 无监督领域自适应的知识蒸馏

    利用 BERT 预训练语言模型，结合领域适应性方法和知识蒸馏算法，提出了一种简单而有效的无监督领域适应方法，称为对抗适应与蒸馏，在 30 个领域对跨领域情感分类的任务中取得了最先进的性能。

    Oct, 2020