提出自我训练算法 DuNST，它通过一个变分自编码器共同建模文本生成和分类，利用两种柔性噪声打破生成的伪文本的限制，从而实现利用标签和非标记文本渐进式提高模型性能，应用于三个可控生成任务，显著提高控制准确性，并保持可比较的生成流畅性和多样性。

Dec, 2022

介绍了一种自我控制的文本增强方法（Self-Controlled Text Augmentation - STA），该方法可以控制样本的语义内容，对比现有技术在多个数据集上实验表明 STA 的性能显著优于现有技术，并且生成的样本词汇多样性高，语义可靠。

Feb, 2023

本研究提出了增量自训练（IST）用于半监督学习，通过在模型稳定后处理决策边界附近的数据，优化分类器性能，并在五个数据集和两种基础模型上验证，取得了显著的识别准确率和学习速度的提升，超越了现有最先进方法三个具有挑战性的图像分类任务。

Apr, 2024

本文提出了一种名为知识蒸馏半监督主题模型（KDSTM）的方法，该方法可以利用主题模型的无监督特征提取来完成文本分类任务，而无需预先训练。该方法具有较高的效率和准确性，相对于基于监督的分类模型更具鲁棒性。

Jul, 2023

在半监督学习中，为了减少标记数据的需求，经常使用自我训练来分配伪标签。然而，由于自我训练中可能会出现错误的伪标签，从而导致训练不稳定，因此提出了一种去偏差的自我训练方法，它使用两个参数独立的分类器头来分离伪标签的生成和利用，并通过对抗优化表征来改善伪标签的质量，从而稳定训练并提高性能。

Feb, 2022

大型语言模型通过多种方法解决问题，在这篇论文中，我们介绍了多方法自训练（MMST），其中一种方法是在另一种方法的过滤输出上训练，从而增强每种方法的优势并改善它们的缺点。通过对同时训练了语言和代码的含有 176B 参数的模型，我们展示了 MMST 可以提升性能较差的方法（最高可达 30%），使模型更易于使用，改善性能较好的方法（最高可达 32.2%），使模型表现更好，并通过提高模型生成原理的能力，改善相关但不同的任务的性能（最高可达 10.3%）。然后，我们进行了消融分析来探索 MMST 的工作原理，发现 MMST 产生的数据比传统的自训练更多，但性能的提升是由多种方法的使用驱动的。我们还分析了提示工程和方法之间的反相关性能，以提高 MMST 的有效性。我们希望我们论文中的证据能够激励机器学习研究人员探索语言模型进步带来的新型训练方法。

Jul, 2023

本文介绍了一种使用词汇表来指导伪标记机制的简单的自训练方法，即 LST。通过使用语言丰富的方式，我们不断优化词汇表来预测未见数据的置信度，从而更好地教授伪标签，实现了 5 个基准数据集每个类别 30 个标注样本的 1.0-2.0％的性能提高。

Feb, 2022

该篇论文提出了一种 Test-Time Self-Training（TeST）技术，通过使用学生 - 老师结构学习不变和强鲁棒性表示来适应新的分布，进而提高模型在分布变化的测试时期的适应性，其结果显示，与现代域自适应算法相比，使用 TeST 的模型在目标检测和图像分割上达到了最新的测试时间域适应算法的最优水平。

Sep, 2022

本文提出了一种基于自训练和数据增强的半监督语义分割模型，通过选择可靠的未标注图像优化模型的性能。

Jun, 2021

本文提出了一种鲁棒的短文本聚类模型 (RSTC)，通过假标签生成模块和鲁棒的表示学习模块，提高抗噪声和不平衡数据的鲁棒性，实验证明在 8 个短文本聚类数据集上优于现有模型。

May, 2023