本文提出了一种基于文本丰富网络的最小监督文本分类框架，通过联合训练两个模块，分别为文本分析模块和网络学习模块，从而生成伪标签来提高彼此性能，并在两个真实数据集上测试，结果表明该框架在仅提供三个种子文档时能够取得约 92% 的准确率，并且优于所有比较方法；其准确率仅比在 50K 个标记文档上训练的监督 BERT 模型低不到 2%。

Feb, 2021

本研究提出了一种基于链接文档的 LM 预训练方法 LinkBERT，利用文档之间的超链接链接构建了文本语料库的图形，并通过预训练实现了关系预测和蒙面语言建模两个联合自监督目标，其在多跳推理和少样本 QA 方面特别有效，同时在 BioNLP 任务上表现出新的最高水平。

Mar, 2022

该研究提出了一种新的语言模型预训练框架，明确考虑了 Text-Attributed Heterogeneous Graph 中的拓扑和异构信息，通过优化语言模型和辅助异构图神经网络，定义了上下文图，并通过拓扑感知预训练任务来预测与上下文图有关的节点，同时采用文本增强策略来处理节点文本不平衡问题。在三个不同领域的数据集上进行了链接预测和节点分类任务，并实验结果证明了该方法的优越性和每个设计的合理性。

Oct, 2023

本文探讨了一种新的持续性的预训练策略，通过把 BART 模型继续预训练来生成简单的文本，从而提高简化任务的表现，同时与其他大型语言模型进行了比较。

May, 2023

文章提出了一种新的基于 Transformer 模型的句法感知注意力层以及预训练任务，该模型可以从句法结构中获取信息来提高预训练模型在关系分类、实体类型标注和问答等任务中的表现。实验结果表明，该模型取得了当前最好的表现效果。

Dec, 2020

本文介绍了一项关于预训练模型适应长序列输入的经验研究，并提出一种构建长上下文模型的有效方法，包括采用池化增强分块注意力替换 transformers 中的全局注意力机制、采用不同长度的遮盖跨度预测任务、使用随机串联的短文档等。最终，研究人员成功构建出具有竞争性的长文本问答模型，并在五个长文本摘要数据集上取得了新的性能最高记录。

Sep, 2022

本文研究如何训练针对文本文档中关键短语的任务特定语言模型，通过使用不同的掩码策略在区分性和生成性环境下对预训练变压器语言模型进行实验，并提出新的预训练目标 - 关键短语边界填充替换（KBIR），用于关键短语提取，与现有最佳方法相比，能够提高 8.16 个 F1 分数；此外，还提出了适用于 BART 的新的预训练设置 - KeyBART，能够在 CatSeq 格式中重现与输入文本相关的关键短语，用于关键短语生成，并能比现有最佳方法提高 4.33 个 F1M 分数。最后，对预训练语言模型进行细微调整，用于命名实体识别，问答，关系抽取，编写摘要等，达到了与现有最佳方法可比的性能，表明学习关键短语的丰富表达对于许多其他基础的自然语言处理任务是有益的。

Dec, 2021

图序列预训练框架 GSPT 利用统一的文本表示，在图领域中取得了显著的可转移性和实证成功。

Jun, 2024

在 NLP 领域中，尽管预训练语言模型（PLMs）取得了巨大的成功，并成为了一个里程碑，但抽象对话摘要仍然是一个具有挑战性但研究较少的任务。本文中，作者们通过在 Reddit 社区中的多人讨论中构建一个大规模（11M）的预训练数据集 RCS，提出了 TANet，一个基于 Transformer 的网络，借助线程感知的关注机制和线程预测损失函数，有效地解决目前模型的局限性，取得了新的最优效果。

Apr, 2022

通过使用更丰富的外部信息来预先训练模块化分词模型，神经词分割的效果得到了显著的提高，在六项基准测试中达到了竞争最佳方法的准确度。

Apr, 2017