多变体划分混合：一种用于严重标签噪声的半监督对比学习框架

Aug, 2023

多变体划分混合：一种用于严重标签噪声的半监督对比学习框架

Manifold DivideMix: A Semi-Supervised Contrastive Learning Framework for Severe Label Noise

Fahimeh Fooladgar, Minh Nguyen Nhat To, Parvin Mousavi, Purang Abolmaesumi

TL;DR本文提出了一种基于自监督训练的方法，通过利用所有训练数据的信息，为每个样本提取有意义且可泛化的嵌入空间，从而去除 out-of-distribution 样本，并使用迭代的 Manifold DivideMix 算法找到干净和有噪音的样本，以半监督的方式训练模型。此外，我们还提出了一种名为 MixEMatch 的半监督算法，其中包括在模型的输入和最终隐藏表示中进行 mixup 增强，通过在输入和流形空间进行插值提取更好的表示。对多个合成噪声图像基准和真实世界的网络爬取数据集进行的广泛实验证明了我们提出的框架的有效性。代码可在此 https URL 找到。

Abstract

deep neural networks have proven to be highly effective when large amounts of data with clean labels are available. However, their performance degrades when training data contains noisy labels, leading to poor ge

deep neural networks noisy labels self-supervised training semi-supervised learning manifold dividemix

发现论文，激发创造

DivideMix: 以半监督的方式学习有噪声标签

提出了一种名为 DivideMix 的新型深度学习框架，通过利用半监督学习技术来将训练数据动态分成一个包含清晰样本的标记集合和一个包含噪声样本的未标记集合，并在半监督的方式下同时对标记与未标记数据进行训练，使用 MixMatch 策略在标记和未标记样本上分别执行标记共修整和标记共猜测以进行标签协同改进。在多个基准数据集上的实验显示出 DivideMix 比现有最先进的方法具有显着的改进。

Feb, 2020

正确绘制流形图：用于小样本学习的 Manifold Mixup

本文研究了 Manifold Mixup 在 few-shot 学习中的作用，并结合自监督学习和正则化技术，提出了一种名为 S2M2 的方法，显著提高了 few-shot 学习的性能，并在 CIFAR-FS、CUB、mini-ImageNet 和 tiered-ImageNet 等标准 Few-shot Learning 数据集上打破了当前最新的准确性记录。

Jul, 2019

利用嵌入对受损图像数据集中的内部及外部噪声进行对比无监督特征聚类

这篇研究使用无监督对比特征学习的方法来对网络图像进行检索，然后结合奇异谱嵌入和离群点敏感聚类来检测噪声和局外点，并训练噪声鲁棒的神经网络来纠正 ID 噪声和利用 OOD 样本进行引导对比学习，提高底层特征。

Jul, 2022

混合流形学习：通过插值隐藏状态获得更好的表示

Manifold Mixup 是一种正则化方法，有助于训练神经网络在多个隐藏层级别上具有更平滑的决策边界，并提高其对单步对抗攻击的鲁棒性和测试日志似然率。

Jun, 2018

流形正则化鉴别性神经网络

该研究探讨了深度神经网络中过拟合问题的原因，并提出了基于流形假设的正则化方法，包括有标签和无标签情况下的流形正则化，实验证明这些方法可以显著提高模型泛化性能。

Nov, 2015

训练深度判别神经网络对抗标签噪声的鲁棒性

该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架，并使用一个无向图模型来描述干净和嘈杂标签之间的关系，在监督学习过程中学习这个模型。该模型在图像标注问题上应用，并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。

May, 2017

不平衡传导式少样本学习的自适应流形

提出了一种名为自适应流形的方法，用于解决在真实数据集不平衡环境下的转导式 few-shot 学习，该方法利用标记支持示例和无标签查询的底层流形来预测每个查询的类概率分布，并优化所有参数，表现出比其他最先进方法更好的性能。

Apr, 2023

使用软标签的合成样本减轻噪声监督

通过使用混合模型从局部损失分布学习样本权重，我们提出了一种利用合成样本训练模型的框架来减轻噪音标签影响，并通过逐渐修正噪音标签估计软目标，得到了更为准确的近似真实标签和更加独立和清晰界定的聚类，实验证明我们的方法在两个基准数据集 (CIFAR-10 和 CIFAR-100) 及两个大规模真实世界数据集 (Clothing1M 和 Webvision) 上优于现有技术方法且具备可靠的学习表达能力。

Jun, 2024

具有变分李群算子的流形对比学习

本文提出了一种对抗学习方法，使用 Lie 群算子直接建模深度神经网络的潜在流形，在图像数据自监督评估和少标注的半监督任务中都表现出了良好的性能。

Jun, 2023

利用流形先验在模型训练中融入远程学习

本研究提出了 Distance Learner 方法，利用 “流形假设” 作为先验知识，对于 DNN-based 分类器进行训练，结果表明 Distance Learner 相比标准分类器学习到更有意义的分类边界，并且在对抗鲁棒性任务中表现出色。

Jul, 2022