本文提出了一种基于贝叶斯深度学习的半监督学习方法，通过利用大规模未标记数据集，以文本分类为应用场景，仅使用 20-30 个样本能够训练出预训练语言模型的近似精度，相较于基线提高 12% 以上。

Jun, 2020

UPET 是一个新颖的、针对标记数据稀缺问题的不确定性感知的参数高效自训练框架，通过在蒙特卡洛（MC）dropout 和贝叶斯神经网络（BNN）中进行不确定性估计，并基于置信度和确定性选择可靠的伪标记样本，在学生训练中引入多个参数高效学习（PEL）范式来仅优化一小部分参数，以及提出了一种新颖的 Easy-Hard 对比调优方法来增强鲁棒性和泛化性能。大量的实验证明 UPET 在性能和效率方面取得了显著改进。

Oct, 2023

本文研究了在有限的训练数据和预算下微调基于预训练语言模型的排序器，发现随机选择不同子集的训练数据进行微调时产生的有效性存在巨大的变化，并探究了主动学习策略在降低标注成本方面的有效性

Sep, 2023

使用半监督的方法（self-training）从未标记的数据中获取伪标签来改善运用主动学习进行文本分类的效率，通过进行广泛的实验，提出了一种新的有效的 self-training 策略（HAST），并在四个文本分类基准数据集上进行了评估，仅使用 25% 的数据，超过了之前实验的分类结果，达到了与三个数据集的先前实验相当的分类效果。

Jun, 2024

本文从不同的角度研究 PLM 的 few-shot 学习，通过调参后作为生成器合成了大量的新训练样本，使用加权最大似然度量进行训练以鼓励生成器生成分类标签的样本，并使用正则化 fine-tuned 在小样本和合成样本上取得了比现有 few-shot 学习方法更好的结果，GLUE 基准测试中超过无增加方法 5 + 平均点数和增加方法 3 + 平均点数。

Nov, 2022

我们提出了一种基于样本不确定性的学习方法，通过引入更能体现样本不确定性的模型，来改善不同任务情景下的模型对齐，实验证明我们的方法能显著提高模型性能和数据效率。

Jun, 2024

本文提出了 Self-Tuning 模型，通过自动调整来联合探索有标签和无标签数据以及预训练模型的转移，并且使用 Pseudo Group Contrast 机制来缓解对伪标签的依赖性和提高对错误标签的容忍度。实验表明，在五个任务中，Self-Tuning 具有比其 SSL 和 TL 对应物更好的表现，例如在 15% 标签的 Cars 数据集上将精度提升了一倍。

Feb, 2021

通过结合基于不确定性的主动学习和 LoRA，本论文提出了一种新的方法，动态度量不确定性缺口且在 LoRA 训练中引入正则化方法，这种方法在三个复杂推理任务上优于现有的基线模型。

Mar, 2024

通过引入一种称为 CrossTune 的标签增强的交叉注意力网络，该网络在输入文本序列和任务特定标签描述之间建模语义相关性，本研究在少样本文本分类的背景下检验了 CrossTune 的有效性。通过使用 ChatGPT 生成额外的训练数据以提高 CrossTune 的泛化能力，并通过实验验证提出的方法相较于以往梯度自由黑盒调优方法平均提升了 5.7%，即使不使用 ChatGPT 增强数据，CrossTune 的性能也优于或与以往黑盒调优方法相当，这表明了我们方法的有效性。

Mar, 2024

该研究提出一种名为任务引导分离微调的方法，通过从预训练的语言模型中分离特定任务的信号来增强表示的泛化能力，实验结果表明，该方法在自然语言处理方面表现出更好的效果。

Mar, 2022