DMT: 半监督学习的动态相互训练

Apr, 2020

DMT: Dynamic Mutual Training for Semi-Supervised Learning

Zhengyang Feng, Qianyu Zhou, Qiqi Gu, Xin Tan, Guangliang Cheng...

TL;DR本文介绍了一种互动训练（Dynamic Mutual Training，DMT）的方法，可以通过两种不同模型之间的互动来确定伪标签的错误，从而提高半监督学习的性能。在图像分类和语义分割任务中，DMT 均取得了最新的表现。

Abstract

Recent semi-supervised learning methods use pseudo supervision as core idea, especially self-training methods that generate pseudo labels.

发现论文，激发创造

通过利用多个自监督模型的优势，压缩预训练模型，并在分类任务和密集任务中显著提高性能。

Dec, 2023

提出了一种基于伪标签的条件图像生成和分类的三阶段培训策略，称为双伪训练（DPT），在 Imagenet 数据集上显示了优越性能。

Feb, 2023

在半监督学习中，为了减少标记数据的需求，经常使用自我训练来分配伪标签。然而，由于自我训练中可能会出现错误的伪标签，从而导致训练不稳定，因此提出了一种去偏差的自我训练方法，它使用两个参数独立的分类器头来分离伪标签的生成和利用，并通过对抗优化表征来改善伪标签的质量，从而稳定训练并提高性能。

Feb, 2022

用 CMMT-Net 方法解决半监督医学图像分割中的标签预测准确性、噪声以及信息过度拟合等问题，并在公开数据集上显著优于现有方法。

Oct, 2023

该研究提出一种无监督的 Mutual Mean-Teaching (MMT) 框架，通过软标签精炼与三元组损失优化联合训练，从而在 Person Re-Identification 中实现了更好的特征表示与优秀的 unsupervised domain adaptation 性能。

Jan, 2020

本研究介绍了一种名为双重稳健自训练的算法，利用未标记的数据生成伪标签，与少量的标记数据相结合进行训练，以解决半监督学习问题。经实验证明，该算法优于标准的自训练基线，且在 ImageNet 数据集上表现出色。

Jun, 2023

本文提出了一种基于多视角一致性的 3D 数据协同训练新框架，利用不同子网络的多样化特征来扩展协同训练，采用基于贝叶斯深度学习的不确定性加权标签融合机制来估计每个视图预测的可靠性，并通过自适应方法计算每个未标注样本的置信度，它在临床图像处理领域的效果得到了验证。

Nov, 2018

提出了一种名为 DualMatch 的新型半监督学习方法，其中类别预测以双层交互方式调用特征嵌入，通过一致的正则化确保不同的增强视图受到一致的类别预测约束，并确保同一类别的不同数据具有类似的特征嵌入，实验证明了 DualMatch 的有效性。

Oct, 2023

提出一种用于半监督医疗图像分割的简单而有效的方法 DPMS，重点在于通过数据扰动和模型稳定化生成适当的预测不一致，从而显著提升了 SSMIS 的性能。

Aug, 2023

该研究提出了基于自监督平均教师预训练和半监督微调的自我监督平均教师的半监督学习方法，应用于胸部 X 光片和皮肤病分类问题，取得较大的性能改善。

Mar, 2021