本文提出了一种无需人工标注的数据集构建方法，使用双语文本语料来 fine-tune Transformer 语言模型，并加入一个循环池层构建出有效的特定语种句子编码器，该方法在单张图形卡上使用不到一天时间训练，在波兰语的八个语言任务上实现了高性能，超越了最好的多语言句子编码器。

Jul, 2022

本文介绍一种基于 RNN 和 VAE 的生成模型，该模型可以显式地模拟句子的整体特征，并通过分布式的潜在表示编码句子的风格、主题和高级语法特征。模型生成多样且完整的句子，能够插值生成连贯且新颖的句子，并用于填补缺失的词，同时探索了潜在句子空间的许多有趣属性。

Nov, 2015

本文介绍了如何使用变形器结构并应用群稀疏技术实现拥有较高精度、更小规模 SLU 模型的生成，从而避免使用预先训练的参数较多的大型模型。

Jun, 2022

本文研究了基于深度自回归 Transformer 模型在语言建模和语音识别中的应用，探索了配置 Transformer 模型进行语言建模的方法和深度 Transformer 语言模型是否需要位置编码，证明了深度 Transformer 语言模型可以自动利用序列中的位置信息，并能在语音识别模型中得到应用。

May, 2019

提出了一种基于 Transformer 的文本自编码器（T-TA），可以在不需要重复推理的情况下计算上下文语言表示。实验结果表明，在 CPU 环境下，T-TA 在 reranking 任务中比基于 BERT 的模型快六倍，在语义相似性任务中快十二倍，并在这些任务上表现出与 BERT 相当甚至更好的准确性。

Apr, 2020

本文探讨了不依赖词级对齐的跨语言自编码器方法，学习在两种语言之间对齐的词矢量表示，并提出了一种显式的相关性最大化正则化器来提高性能，并在跨语言测试分类问题上进行了实证研究，其结果与现有研究表现相当甚至取得了 10-14 个百分点的提高。

Feb, 2014

本文介绍了一种通过利用生成自编码器的潜在句子表示来实现可控制文本生成的方法。作者提出了一种改进自动编码器的方法，被称为 DAAE，该方法可以在维持生成质量的同时，提高模型中的潜在空间几何性，从而实现了通过简单潜在向量算术进行全零文本风格转换。

May, 2019

本文提出一种基于自学习方法的预训练自编码语言模型，该模型通过训练编码器输出高质量的文本序列嵌入来解决解码器可能利用语言模式的问题，实验结果表明该模型能够显著提高稠密检索模型的效果和少样本学习能力。

Feb, 2021

本研究展示了 BERT 如何在文本摘要中有用地应用，并提出了一种通用的框架，包括抽取式模型和生成式模型。在此框架下，我们引入了一种新的基于 BERT 的文档级编码器，该编码器能够表达文档的语义并获取其句子的表示，通过堆叠多个 Transformer 层来构建我们的抽取式模型，对于生成式摘要，我们提出一种新的微调策略，以解决编码器和解码器之间的不匹配问题，并演示了两阶段微调方法可以进一步提高生成摘要的质量。在三个数据集上的实验表明，我们的模型不仅在抽取式设置下，在生成式设置下也达到了最先进的水平。

Aug, 2019

本文介绍了一组有效的互补方法，用于将表示馈送到预训练的无条件语言模型中，以及一组方法来映射句子到该表示空间中，并通过找到点的方式调查语言模型生成句子的可能性。我们发现，可以不修改任何模型参数，使用中等大小的表示和语言模型几乎完美地恢复任意句子。

Jul, 2019