本文提出一种名为 Infilling by Language Modeling 的文本补全方法，它采用了一个预训练的语言模型来预测文档中的任意位置缺失的文本，并在短篇小说、科学摘要和歌词三种不同领域有效地补全整个句子。研究结果显示，采用这种方法补全的句子很难被人识别为机器生成，适用于辅助写作工具。

May, 2020

基于 Fill-in Language Model (FiLM) 的研究在语言模型中引入双向上下文，使其具备在任意位置灵活生成文本的能力，并通过采样自 Beta 分布的变化掩码概率来提升其生成能力。在自动和人工评估中，FiLM 优于现有的依赖于按照从左到右训练的文本段落重新排列的插入方法。FiLM 易于实现，可以从头开始训练，或从左到右的语言模型进行微调。与类似规模的强左到右语言模型相比，FiLM 的困惑度随着模型规模的增加逐渐接近，显示了其可扩展性和作为大型语言模型的潜力。

Oct, 2023

本研究探讨了使用单一模型同时执行文本填空和生成任务的可行性，发现利用 Fill in the blank 预训练后的模型能够完成这两个任务，并展示了如何使用 Fine-tuning 控制生成的文本的长度和单词选择。

Jun, 2022

介绍了一种用于文本风格转换的序列到序列语言建模框架。该方法通过非自回归蒙版语言模型生成目标风格的新跨度，同时保持了自回归模型的灵活性和非自回归模型的准确性，以弥合句子级和单词级风格转换方法之间的差距。通过 RLM 的隐层表示进行风格 - 内容分离，实验结果表明，与其他基线相比，RLM 的效果更好。

Nov, 2022

我们探索了预训练语言与视觉模型在基本语言构造方面的处理程度，并提出了 BLA 评估基准，发现各种类型的基于 Transformer 的系统普遍在零样本设置下难以处理 BLA，但生成型的 BLIP2 在上下文学习环境中显示出有希望的趋势，这为将 BLA 用作评估基准以及提高模型的基本语言能力打开了大门。

Oct, 2023

通过 Blackbird's language matrices（BLMs）的语言数据集测试近期模型的语言掌握和普遍化的能力。我们展示了数据集的逻辑和自动构建数据的方法，以及学习它们的架构。通过变形的数据集和误差分析，我们证明了该任务以及数据集是理解普遍化和抽象化的新的挑战性测试平台。

May, 2022

使用最新一代的大型语言模型，我们系统地研究了双语词典诱导（BLI）任务，包括无监督的零样本诱导、少样本上下文诱导和标准的 BLI 模型微调，并证明了与当前 BLI 方法相比，这种方法在许多语言对上取得了最新的 BLI 成绩。

Oct, 2023

BLiMP 是一套挑战集，用于评估语言模型对英语中主要语法现象的理解水平。研究表明，现有模型能够可靠地识别形态对比，但在限定词和否定极性项分布以及提取岛等微妙的语法现象上仍面临挑战。

Dec, 2019

本文提出了一种简单的方法，使用预训练语言模型 (Pretrained language models) 进行全零样本学习 (zero-shot learning) 自然语言理解任务 (NLU tasks)。该方法使用单向和双向 PLMs 生成和训练数据，其中训练数据是使用提示 (prompts) 引导的类别条件文本。使用这种方法，在 GLUE 数据集的七个分类任务中取得了强劲的表现 (例如在 MNLI-m/mm 上的 72.3/73.8，以及在 SST-2 上的 92.8)，相对于零样本提示方法，甚至实现了与使用每类 32 个训练样本的强有力的少样本方法相当的结果。同时，采用了标签平滑和时间模型的融合技术以达到更好的泛化和稳定性。

Feb, 2022

本文研究了文本生成和填充相关的问题，设计并实现了一种基于自注意力和双向上下文建模的模型，并通过有监督的学习方法进行了实验验证。结果表明，该模型在文本填充任务上表现出色，为未来的相关研究提供了强有力的基线。

Jan, 2019