本篇论文提出了一种新的预训练模型 SSPT，即 Span Selection Pre-Training，通过将预训练模型任务转换为阅读理解，从而提高 BERT 及其他预训练模型的学习能力，实验证明该方法对于数据集有限的场景下表现尤为出色。

Sep, 2019

通过 Symmetric Superimposition Modeling (SSM) 方法，该研究致力于同步捕捉文本图像中的字符特征和语言信息，并在各种文本识别基准测试中展示了其有效性和广泛性，以平均 4.1% 的性能提升和 86.6% 的新的 Union14M 基准平均字词准确性成果。

May, 2024

本文介绍了一种基于时间的上下文语言模型 TempoBERT，通过添加时间信息和进行特定的时间掩码来适应语言的动态性，并在不同的数据集上进行了实验，证明利用时间掩码可以在语义变化检测和句子时间预测任务中得到好的效果。

Oct, 2021

通过 SSMix，在输入文本上进行数据增强而不如之前的隐式向量操作，维持两个原始文本的局部性通过跨度混合以及保留更多与预测相关的标记，我们实验证明，相较于以前的隐式向量操作，我们的方法在包括文本蕴涵、情感分类和问句类型分类的广泛文本分类基准测试上具有更好的性能。

Jun, 2021

本研究探讨了在自然语言处理领域中理解文本的时间背景的方法，并介绍了一种新型语言模型 BiTimeBERT 2.0，该模型通过预训练在一个时间新闻文章集合上，利用三种创新的预训练目标以有效地获得时间感知的语言表示，从而在与时间相关的任务中实现改进的性能。实验结果显示，BiTimeBERT 2.0 在多种依赖时间的下游自然语言处理任务和应用中显著优于 BERT 和其他现有的预训练模型。

Jun, 2024

这篇论文提出了一种名为 “自监督遮盖” 的无监督异常检测和定位方法，通过随机遮盖和恢复来扩展基于重建的异常检测架构，并引入了渐进式遮盖细化方法来进一步提高检测和定位效率和效果。

May, 2022

通过对点对互信息的概念提出了 PMI-Masking，该结构代替了以往不合理的随机掩码方法，实验结果表明在预训练的效率和下游任务性能上有所提高

Oct, 2020

本论文提出了 SpanBERT 预训练方法，扩展了 BERT 的掩蔽方式和训练方式，使其在跨度选择和指代消解等任务中表现出比 BERT 和基线更优秀的性能，包括在 SQuAD、OntoNotes 和 TACRED 等各种基准测试上都取得了更好的结果。

Jul, 2019

本文提出了一种新的文本样式转换模型，名为 Style MLM，它使用原型编辑方法来构建一种样式屏蔽语言模型任务，通过使用 “可解释的注意力” 来解决样式屏蔽步骤中的位置问题。我们的模型通过与强大的 TST 基线和先进的 TST 模型竞争，展示了其在内容保留环节效果的卓越性。

Oct, 2022

本论文提出了一种轻量级掩膜生成器的技术，采用长短掩膜对 S4 模型进行改进，从而更有效、准确地模拟视频中的长期时空依赖关系，并在三个数据集上均取得了比之前最先进的 S4 模型更高的准确性，降低了 23％的内存占用。

Mar, 2023