该研究中，给出了一种基于预训练语言模型和样本示例结合的方法来解决文本生成的任务，并介绍了基于此方法的 GenPET。实验表明，该方法在摘要和标题生成数据集上的表现均优于常规方法。

Dec, 2020

提出了一种基于神经扩展范例（Ex2）的数据增强方法，通过从某个分布中抽样得到的一些范例向该分布中生成新范例，应用于语言理解任务中，取得了在几个少样本学习基准上显著的优化结果。

Feb, 2021

通过精心策划的数据预训练，使用新颖的数据混合集，我们的 Transformer-based 语言模型 phi-CTNL 在多个学术基准测试中完美表现，并打破了已知基础模型的记录，同时还展现了前所未有的准确预测下游评估基准的能力。

Sep, 2023

本文通过 ExMix 集合超过 107 个具有不同领域和任务族的监督自然语言处理任务，进行了 NLP 任务数量的缩放对模型多任务预训练效果的系统研究，并分析了任务家族间的共同训练迁移。其中，本文证明了手动筛选多任务预训练理想任务集并不容易，而多任务缩放本身可以大幅改进模型性能；同时，本文还提出 ExT5，通过超过 107 个 NLP 任务的多任务自监督 span 去噪和 ExMix 的监督多任务目标进行预训练，证明了 ExT5 在 SuperGLUE、GEM、Rainbow、闭卷 QA 任务和一些 ExMix 任务之外的任务上均优于强基线模型 T5，并显著提高了预训练的样本效率。

Nov, 2021

本文介绍了一种名为 ADAPET 的方法，可以在没有无标注数据的情况下提高 few-shot learning 的性能，在 SuperGLUE 基准测试中表现优于 Pattern Exploiting Training。

Mar, 2021

Equivariant Pretrained Transformer (EPT) 是一种新颖的预训练框架，旨在通过块增强表示统一多领域分子的几何建模，同时通过 E (3) 不变性进一步增强 Transformer 框架，通过块级预训练任务，实现了同时在包含小分子和蛋白质的数据集上进行预训练，并在多个任务中显著优于之前的方法。

Feb, 2024

通过使用预先在自然语言或图像数据上进行训练的 Transformer 模型，并通过最小修改进行微调，我们在时序预测任务上评估了 Frozen Pretrained Transformer (FPT) 的效果，并发现其性能在跨模态时序预测任务中可以与同模态微调相媲美甚至处于最前沿状态。

Feb, 2023

本文提出了一种用于视觉预训练的可伸缩和有效的自我监督预训练框架，该框架从数据选择的角度出发，并利用相关性来提高下游任务的表现。实验结果表明，该框架可以降低训练样本量并提高模型架构的灵活性。

Dec, 2022

我们提出了 ConVEx（面向对话任务的槽标记对话值提取器），通过 Reddit 数据上的新颖成对填空任务的预训练目标，实现序列标记任务的领域特定槽标记器的学习，并在保持预训练模型的大多数参数固定不变的情况下，仅通过微调预训练的通用序列标记模型的解码层来实现。

Oct, 2020

ProtoTEx 是一种基于原型网络的新型白盒 NLP 分类体系结构，其通过原型张量解释模型决策，可在处理没有代表性特征的类别时有效地处理，可精准检测网络新闻中的宣传，并通过原型解释帮助非专业人士更好地识别宣传。

Apr, 2022