Self-supervised Multi-modal Contrastive Learning (SMCL) 模型通过整合视觉和语言模态，使现代视觉 - 语言预训练（VLP）模型在无监督学习方面取得显著的进展。然而，由于网络采集的文本 - 图像对中存在噪声问题，在 SMCL 模型中增加训练数据量会带来相当大的计算成本和数据效率问题。为了提高 VLP 模型的数据效率，我们提出了 Text-aware Image Mixing（TiMix）方法，将基于混合的数据增强技术应用到 SMCL 模型中，能够在显著提升性能的同时，不会显著增加计算开销。我们从互信息（MI）的角度对 TiMix 进行了理论分析，表明混合的数据样本能够隐式地作为对比损失的正则化器。实验结果表明，与现有方法相比，即使减少了训练数据量并缩短了训练时间，TiMix 在下游任务上表现出了可比较的性能。该研究从实证和理论上证明了数据混合在数据高效和计算可行的 VLP 中的潜力，为 VLP 模型在实际场景中的广泛应用带来了好处。

Dec, 2023

本文提出一种基于自适应学习的 mixup 方法，采用实例专属标签平滑技术，通过数据增强技术产生更具适应性和友好性的假样本用于文本分类，实验证明该方法显著提高了分类精度和模型的泛化能力。

May, 2023

通过 SSMix，在输入文本上进行数据增强而不如之前的隐式向量操作，维持两个原始文本的局部性通过跨度混合以及保留更多与预测相关的标记，我们实验证明，相较于以前的隐式向量操作，我们的方法在包括文本蕴涵、情感分类和问句类型分类的广泛文本分类基准测试上具有更好的性能。

Jun, 2021

本文提出了一种基于贝叶斯深度学习的半监督学习方法，通过利用大规模未标记数据集，以文本分类为应用场景，仅使用 20-30 个样本能够训练出预训练语言模型的近似精度，相较于基线提高 12% 以上。

Jun, 2020

提出了 MixText，这是一种用于文本分类的半监督学习方法，利用我们新设计的数据增强方法 TMix，在隐藏空间插值文本来创建大量的增强训练样本。混合标记的、未标记的和增强的数据，MixText 在几个文本分类基准测试中显著优于当前的预训练和微调模型以及其他最先进的半监督学习方法，尤其是在监督极度有限的情况下。我们已经在此 https URL 上公开发布了我们的代码。

Apr, 2020

本文提出了一种新颖的嘈杂标记学习框架 ProMix，通过高置信度匹配选择技术，最大限度地提高干净样本的效用，实验结果表明，该方法在 CIFAR-10N 和 CIFAR-100N 数据集上都能够取得比最佳基线方法更好的表现。

Jul, 2022

该论文研究了 NLP 中文本分类的标签噪声问题，提出了一种基于 beta 混合模型的辅助噪声模型，通过此模型可以减轻标签噪声对分类器的影响，提高分类准确率并防止过度拟合。

Jan, 2021

提出了一种名为 DivideMix 的新型深度学习框架，通过利用半监督学习技术来将训练数据动态分成一个包含清晰样本的标记集合和一个包含噪声样本的未标记集合，并在半监督的方式下同时对标记与未标记数据进行训练，使用 MixMatch 策略在标记和未标记样本上分别执行标记共修整和标记共猜测以进行标签协同改进。在多个基准数据集上的实验显示出 DivideMix 比现有最先进的方法具有显着的改进。

Feb, 2020

提出了一种名为 DoubleMix 的插值数据增强方法，通过合成的数据集和原始数据集在神经模型的隐藏空间中进行插值，以及学习隐藏空间中的 “偏移” 特征来提高模型的鲁棒性，在六个文本分类基准数据集上，该方法优于几种流行的文本增强技术，同时在低资源情况下也能保持性能的提升。

Sep, 2022

本文提出了一种基于自监督训练的方法，通过利用所有训练数据的信息，为每个样本提取有意义且可泛化的嵌入空间，从而去除 out-of-distribution 样本，并使用迭代的 Manifold DivideMix 算法找到干净和有噪音的样本，以半监督的方式训练模型。此外，我们还提出了一种名为 MixEMatch 的半监督算法，其中包括在模型的输入和最终隐藏表示中进行 mixup 增强，通过在输入和流形空间进行插值提取更好的表示。对多个合成噪声图像基准和真实世界的网络爬取数据集进行的广泛实验证明了我们提出的框架的有效性。代码可在此 https URL 找到。

Aug, 2023