研究表明，在自监督学习中使用 hard negatives, 数据混合等技术可以提高视觉表示的质量，本文提出了一种基于特征水平的硬负例混合策略，并在多个任务上验证其有效性。

Oct, 2020

提出一种新的数据增广方法 SelecMix，旨在解决神经网络训练中数据偏差带来的问题，并在标准基准测试中证明了其有效性，尤其是在标签噪声情况下。

Nov, 2022

该论文提出了一种基于标签空间的无监督学习方法 (Un-Mix)，通过混合输入数据进行联合工作，从而学习到更加精细、鲁棒且广义的表示。实验证明，在 CIFAR-10、CIFAR-100、STL-10、Tiny ImageNet 和 ImageNet 等数据集上，该方法均可以在保持基本方法的超参数和训练程序不变的条件下，显著提高模型的泛化性能。

Mar, 2020

本篇论文提出一种名为 MixCo 的半阳性对比学习方法，它可以通过学习混合图像的相关相似度，有效提高自我监督学习中的图像表示性能。在实验中，MixCo 在 TinyImageNet、CIFAR10 和 CIFAR100 等基准测试集上一致地提高了测试准确率，且当模型大小等学习能力受限时，改进效果更为显著。

Oct, 2020

该研究提出了一种新的概念框架 —— 监督插值，通过松弛和概括 Mixup，可以有效地规范混合数据的训练，进而提出了一种名为 LossMix 的简单却灵活且有效的正则化方法，并设计了一种两阶段的域混合方法，借助 LossMix 超越了 Adaptive Teacher，并在无监督领域适应中有了新的突破。

Mar, 2023

本文介绍了一种基于 UnReMix 的 hard negative sampling 策略，该策略考虑了锚点相似度、模型不确定性和代表性，实验结果表明，与现有的对比学习方法相比，UnReMix 可以改进负样本的选择，从而提高下游任务的性能。

Jun, 2022

本文提出了一种名为 Supervised Contrastive Regression（SupCR）的框架，该框架通过比较样本之间的目标距离来学习具有回归意识的表示，可以与现有回归模型组合以提高性能，在计算机视觉、人机交互和医疗保健等五个真实回归数据集上的实验证明，使用 SupCR 可以达到最先进的性能，同时在所有数据集、任务和输入模式上，始终提高了回归基线的性能。此外，SupCR 还可以改善对数据损坏的鲁棒性，对减少的训练数据的弹性，以及奇异目标的学习泛化能力。

Oct, 2022

本论文研究数据增广技术 Mixup 的理论基础，指出 Mixup 可被解释为标准经验风险最小化估计器，通过数据转换和随机扰动来实现。该方法在测试时能够提高分类器性能，同时还获得了自校准和有效的正则化效果，以防止过度拟合和过度自信的预测。

Jun, 2020

提出了一种新的基于对比损失的无监督表示学习框架，并通过利用数据增广方案生成新样本来优化损失函数，实现混合样本的预测任务，以利用软目标进行学习。实验结果表明本方法在单变量和多变量时间序列上的表现优于其他表示学习方法，并展示了它对于临床时间序列的传递学习的好处。

Mar, 2022

利用 Mixup 作为标准交叉熵损失的额外正则化器，可以提高其精确度并在各种协变量转移和超出分布检测实验中显著提高其预测不确定性的质量。通过对视觉数据集 (ImageNet ＆ CIFAR-10/100) 的深入分析和实验来展示我们的方法（RegMixup）的功效，并与一系列最新方法进行比较，以实现可靠的不确定性估计。

Jun, 2022