该研究提出了一种新的两阶段学习过程,以实现无监督域适应并实现源自由部署。在采购阶段,通过利用现有的源数据,在新颖的生成分类器框架中增强了模型拒绝源外分布样本的能力;在部署阶段,通过使用命名为源相似度度量的新型实例级加权机制,提出了一个简单而有效的源自由自适应目标,以设计一个统一的自适应算法,该算法可在各种范畴差异下运作,并实现了卓越的域适应性能。
Apr, 2020
本研究提出一种基于知识蒸馏的领域自适应技术,针对多源无监督情感分析数据集,在考虑多个教师及其领域专业性的基础上,实现了最优结果,并提出一种可信度度量方法,用于选择高置信度示例及解决单一源情况下的领域适应问题。
Feb, 2017
基于知识蒸馏,提出了一种新的单阶段方法 “不同领域之间的直接蒸馏”(4Ds),通过可学习的适配器和融合 - 激活机制,实现了从教师网络到学生网络的跨领域知识转移,取得了可靠的学生网络性能并超过了现有方法。
Jan, 2024
利用 BERT 预训练语言模型,结合领域适应性方法和知识蒸馏算法,提出了一种简单而有效的无监督领域适应方法,称为对抗适应与蒸馏,在 30 个领域对跨领域情感分类的任务中取得了最先进的性能。
Oct, 2020
使用自主训练、伪标签、微调和师生框架等方法,这篇论文提出了解决视频领域适应性问题的方法,以在没有源数据的情况下实现源无关自适应,并取得了领先的实验结果。
Nov, 2023
本文提出了一种基于无监督域自适应和深度聚类的方法,利用来自多个源域的数据信息建立一个与具体域无关的聚类模型,并通过特征对齐和自我监督实现有效地适应目标域。本文的方法即使在少量目标样本的情况下也能自动发现相关语义信息,并在多个域自适应基准测试中取得了最先进的结果。
Aug, 2020
本文提出了一种二阶段跨域文本分类的框架,使用掩蔽语言模型和标记数据从源域进行模型微调,然后使用自监督蒸馏和目标域的无标注数据进一步微调模型,实验结果表明我们的方法在单源域(94.17% ↑1.03%)和多源域(95.09% ↑1.34%)适应都达到了最新的最先进水平。
Apr, 2023
本文研究深度学习中前馈源自适应的应用及其改进,通过交叉关注机制自适应目标数据集,探索自动化实例选取提升性能,实验表明我们提出的框架能显著改进现有方法。
Jul, 2022
本文研究实际且具有挑战性的无源无监督域自适应问题。作者提出了一种新颖的去噪假标记方法,该方法利用源模型和未标记的目标数据促进模型的自适应。该方法通过不确定性估计和原型估计,进一步引入了两种补充的像素级和类级去噪方案,以减少嘈杂的假标记并选择可靠的假标记以增强假标记的有效性。实验表明,该方法在不使用任何源图像或修改源训练的情况下,实现了与最先进的源相关无监督领域适应方法可比甚至更高的性能。
Sep, 2021
本文研究基于 ImageNet 预训练特征提取器的共同学习框架,以提高面向目标域的伪标记质量并进行迁移学习,同时使用熵最小化来提高非伪标记样本的预测精度,并在三个基准数据集上进行评估。结果显示,该方法优于现有的面向源自由域适应方法和假设联合访问源和目标数据的无监督域适应方法。
Dec, 2022