本文通过对五种自我训练和任务适应预训练方法在自然语言处理任务中的对比分析，证实在半监督学习任务中，无监督任务适应预训练是一种更高效、更鲁棒的学习方法，可以更好地利用少量未标记样本甚至在领域转移的情况下展现出更好的表现。此外，以伪标签为主导可能会带来一些风险，因此建议未来半监督学习研究关注于使用无监督预训练目标。

May, 2023

该文章研究了在 TAPT 过程中只训练 BERT 模型的嵌入层对模型性能的影响，并提出了一种简单的方法来使 BERT 模型在中间步骤更加高效，该方法是培训 BERT 模型的嵌入层，可以适应目标领域的词汇并达到可比较的性能。

Sep, 2022

预训练的基于 Transformer 的语音模型在下游任务（如自动语音识别和口语语言识别）上表现出了令人瞩目的性能，但领域不匹配的问题仍然是一个挑战。为了解决这个问题，我们提出了自监督自适应预训练（SAPT）来适应下游任务的目标领域和语言。我们将 SAPT 应用于 XLSR-128 模型，并研究了该方法在 SLID 任务中的有效性。实验证明，SAPT 在 FLEURS 基准测试中提高了 XLSR 的性能，尤其是对于少数语言，增益高达 40.1%。我们还在少样本学习设置中对四个不同数据集应用了 SAPT，结果显示我们的方法提高了 XLSR 的样本效率。我们的实验证据强有力地证明，通过自监督实现持续自适应可以提升多语言语音模型的下游性能。

Dec, 2023

本文研究了一种使用自训练方法的半监督学习，提出了 SentAugment 数据增强方法，并取得了在文本分类任务上高达 2.6% 的改进。

Oct, 2020

本文讨论了直接语音到语音翻译模型面临的数据稀缺性问题，探索了自监督预训练和数据增强技术来解决此问题，实验表明自监督预训练可以提高模型性能，结合数据增强技术可以进一步提高模型性能。

Apr, 2022

STraTA 提出了一种新方法，即自训练 + 任务增强，通过任务增强技术和伪标记的数据进行自训练，以在少样本情况下有效提高预训练语言模型的效率。实验证明，STraTA 方法可以在 12 个少样本基准测试中显著提高样本效率。

Sep, 2021

本文提出了一种基于自监督学习和半监督学习相结合的时间动作预测模型，其中自监督分支中定义了两个预处理任务，用于学习时间信息的关系结构。实验结果表明，该模型表现优于现有的半监督学习方法和与完全监督方法相媲美。

Apr, 2021

本篇研究通过使用 Task Adaptive Pretraining (TAPT) 来完善预训练的基于 Transformer 架构的分类器并结合表情符号和分段的标签来对 Hindi Tweets 进行自然语言粗分类，细分类以及 Twitter 内容分类识别，并在相关比赛中获得了较高的 F1 分数。

Jan, 2021

研究通过自我训练的方法，利用大量未标记的对话数据进一步改进预先训练的模型，以应对高昂的对话系统不同模块的标注成本问题，并证明该方法在少量标记数据可利用时可以一致提高现有预先训练模型的性能。

Aug, 2021

提出了一种基于主动学习和微调的语音情感识别框架，使用任务适应性预训练和主动学习方法来提高性能和效率，并通过仅使用 20% 的样本来改善 8.45% 的准确性和减少 79% 的时间消耗。

Sep, 2023