半监督转移学习的自适应一致性正则化

CVPRMar, 2021

半监督转移学习的自适应一致性正则化

Adaptive Consistency Regularization for Semi-Supervised Transfer Learning

Abulikemu Abuduweili, Xingjian Li, Humphrey Shi, Cheng-Zhong Xu, Dejing Dou

TL;DR本研究提出了自适应一致性正则化的半监督学习和迁移学习模型，可以利用源域和目标域的强大预训练模型以及目标域的标记 / 非标记数据。在 CIFAR-10、CUB-200 和 MURA 等基准测试中，该模型的性能优于 Pseudo Label、Mean Teacher 和 FixMatch 等半监督学习技术的表现，并且可以在 MixMatch 和 FixMatch 的基础上获得额外的提高。

Abstract

While recent studies on semi-supervised learning have shown remarkable progress in leveraging both labeled and unlabeled data, most of them presume a basic setting of the model is randomly initialized. In this work, we consider →

semi-supervised learning transfer learning adaptive consistency regularization pre-trained models labeled/unlabeled data

发现论文，激发创造

半监督学习的对比正则化

本文中提出的聚类特征对比正则化方法在半监督学习中取得了最先进的结果，通过聚类伪标签的归属特征来更新模型，以便更有效地将标记信息传播到更多未标记样本。

Jan, 2022

图像到图像转换的半监督范式 —— 变换一致性正则化

本研究提出了一种基于几何变换的一致性约束正则化半监督图像翻译算法，在图像着色、去噪和超分辨率等数据敏感任务中，表现出仅需约 10-20% 有标注样本数量就能与标注样本量一样优秀的表现，同时可在视频处理任务中大幅提升质量。

Jul, 2020

无标签数据有多种一致的解释：为什么您应该平均

研究了半监督学习中的一种基于一致性正则化的方法，提出使用随机权重平均和快速随机权重平均来加速模型的训练，达到了最先进的结果

Jun, 2018

探索自监督正则化在监督学习和半监督学习中的应用

本文介绍了一种基于自监督正则化的半监督学习方法，其中利用了大量未标记数据来提高模型的性能，并且可以有效地应用于图像分类任务中，不需要任何补充的超参数进行调整。实验结果表明，该方法优于传统的监督和半监督学习方法。

Jun, 2019

增强循环一致性正则化用于无配对图像到图像翻译

本文提出了一种新的正则化方法 —— 增强循环一致性正则化（ACCR），该方法适用于无配对图像转换。通过使用真实、假的、重构的和增强的样本，我们试图在辨别器上施加来自半监督学习的一致性正则化。实验结果表明，该方法在诸多方面表现优异，尤其在真实世界的转换中表现得更为有效。

Feb, 2020

一致性正则化可提高标签噪声下的鲁棒性

本论文实验证明，鼓励一致性规则的简单损失函数可以显著提高模型对噪声标签的鲁棒性。

Oct, 2021

通过协同一致性训练实现通用半监督模型适应

提出了一种称为 Universal Semi-supervised Model Adaptation (USMA) 的现实和具有挑战性的领域适应问题，该问题需要预训练的源模型，允许源域和目标域具有不同的标签集，并且在目标域中每个类别只需要少量标记样本。为了解决 USMA 问题，提出了一种协同一致性训练框架，通过在两个模型之间正则化预测一致性来结合它们的互补优势，以学习更强大的模型，并提出了一种基于样本和类别的一致性正则化方法来改善训练过程。在几个基准数据集上的实验证明了我们方法的有效性。

Jul, 2023

领域自适应的一致性正则化

本文提出将一致性正则化项加入半监督 UDA 中，通过建模网络输出元素之间的像素之间的相互关系，在 DAFormer 框架上改善了 GTA5 到 Cityscapes 数据集 19 类 mIoU 表现 0.8 和 SYNTHIA 到 Cityscapes 数据集 16 类 mIoU 表现 1.2。

Aug, 2022

通过自适应加权正则化和知识蒸馏增强低标签模式下的对抗鲁棒性

关键词：对抗鲁棒性、半监督对抗训练、有标签数据稀缺、正则化项、知识蒸馏。摘要：本文研究了对抗鲁棒性的半监督对抗训练，探究了稀缺有标签数据情况下的两个鲁棒风险上界，并提出了正则化项以应用于无标签数据，最后通过半监督教师模型的知识蒸馏结合提出的正则化项进行半监督对抗训练算法。实验证明，相较于现有算法，我们提出的算法在性能方面取得了显著的提升，并且即使有限的有标签数据量，我们的算法仍能与使用所有标签数据的监督对抗训练算法相媲美，无论是在标准准确率还是在鲁棒准确率上，比如我们的算法只使用 8％的有标签数据时，在 CIFAR-10 数据集上与监督对抗训练算法相比表现接近。

Aug, 2023

跨域语义分割的不确定性感知一致性正则化

提出了一种基于不确定性感知和地区一致性的跨域语义分割一致性正则化方法，通过利用目标样本的潜在不确定性信息，引入了动态加权的一致性损失，使得从教师模型传递到学生模型的知识更具意义和可靠性。同时，提出了一种 ClassDrop 掩蔽生成算法和 ClassOut 策略，实现了地区一致性的有效建模。实验表明，该方法在四个跨域自适应基准上优于现有方法。

Apr, 2020