本文通过对五种自我训练和任务适应预训练方法在自然语言处理任务中的对比分析，证实在半监督学习任务中，无监督任务适应预训练是一种更高效、更鲁棒的学习方法，可以更好地利用少量未标记样本甚至在领域转移的情况下展现出更好的表现。此外，以伪标签为主导可能会带来一些风险，因此建议未来半监督学习研究关注于使用无监督预训练目标。

May, 2023

该研究提出了一个名为 TAPE 的基准测试，用于非英语语言的 NLU 评估，特别是适用于俄语的多跳思维，伦理概念，逻辑和常识知识等领域，着重于语言为导向的对抗攻击和扰动分析，通过测试自回归基线，发现简单的拼写变化与输入重复对性能影响最大，同时，结果表明在大多数任务上，神经和人类基线之间存在显着差距。

Oct, 2022

我们提出了一种新颖的结构感知的蛋白自监督学习方法，利用图神经网络模型预训练，从残基距离和二面角的角度考虑自监督学习任务，借鉴预训练蛋白语言模型的序列信息结合专门设计的 GNN 模型的结构信息进行伪二级优化，实验证明该方法在多个监督型下游任务中的有效性。

Apr, 2022

OntoProtein 是第一个将 GO 结构应用于蛋白质预训练的通用框架，通过与知识图谱和蛋白质嵌入的联合优化，能够优化蛋白质表示并在蛋白质相互作用和蛋白质功能预测方面实现更好的性能。

Jan, 2022

本文研究几种半监督学习方法提高自然语言理解任务的性能，证明了 Task-adaptive pre-training 和 Self-training 可以通过 TFS protocol 结合使用，使学习所得的表示更加有效，进而在情感分类、语义匹配、命名实体识别和对话槽位分类等多个数据集上获得了显著的提升，在半监督设置下获得了强大的加法收益。经验证明，TFS protocol 可以作为未来 NLP 研究的一个重要的半监督学习基线。

Sep, 2021

通过训练两个自回归模型和四个自编码器模型，使用生物信息数据培训出来的语言模型（Language Models）能够在低推断开销下完成新的前沿预测，例如使用蛋白 LM - 嵌入 (ProtT5) 能够在无需使用进化信息的情况下，成功地进行氨基酸序列每残基预测，并出现在这个 https URL。

Jul, 2020

本研究提出 TREBA 方法，使用多任务自监督学习，以学习具有样本效率的轨迹嵌入进行行为分析，并通过任务编程将结构化领域知识直接编码到模型中，以降低领域专家的注释负担，同时提高准确性，并在小鼠和果蝇数据集上证明了其有效性。

Nov, 2020

蛋白质表示学习旨在从蛋白质数据库中提取知识，以应用于各种蛋白质相关的下游任务，我们引入了新颖的不对称多模态掩码自编码器（AMMA），利用统一多模态编码器将蛋白质序列、结构和功能三种关键形态集成为统一的表示空间，通过不对称解码器确保序列潜在特征反映结构和功能信息，实验表明 AMMA 在学习展现良好间模态关系的蛋白质表示方面具有极高的效果，进而使其在各种蛋白质相关的下游任务中发挥作用。

Apr, 2024

本文提出了一种名为 PLUS 的蛋白质序列预训练方案，可以提高蛋白质生物学任务的性能并利用未标记蛋白质之间的进化关系，PLUS-RNN 在六个任务中表现优于其他同等大小的语言模型。

Nov, 2019

本文提出了 Self-Tuning 模型，通过自动调整来联合探索有标签和无标签数据以及预训练模型的转移，并且使用 Pseudo Group Contrast 机制来缓解对伪标签的依赖性和提高对错误标签的容忍度。实验表明，在五个任务中，Self-Tuning 具有比其 SSL 和 TL 对应物更好的表现，例如在 15% 标签的 Cars 数据集上将精度提升了一倍。

Feb, 2021