本文提出了一种迭代推理算法来实现多跳解释再生，该算法根据自然语言问题和其答案检索相关的事实证据。该算法通过自回归地从语料库中选取事实，以学习排序损失的方式来缓解多源证据的选择问题。使用预训练的 Transformer 模型进行实验，结果显示该算法在精度、培训时间和推理效率方面均优于先前的最先进技术。

Dec, 2020

稀疏自编码器通过重构来自稀疏瓶颈层的激活，提供了一种从语言模型中提取可解释特征的有前途的无监督方法。我们提出使用 k - 稀疏自编码器来直接控制稀疏性，简化调整并改进重构 - 稀疏性的界限，并引入一些评估特征质量的新度量标准，这些度量标准在自编码器的规模大小上通常会有所改善。

Jun, 2024

本文提出了一种基于分层循环编码器解码器结构的模型，通过采样 softmax 估计开发了一种训练算法，可以在不需要高频解码器的情况下训练整个模型，显著降低了自回归模型训练的存储需求并改进了总的训练时间。

Jun, 2023

介绍了一种使用离散稀疏自编码器在大型语言模型中发现可解释电路的高效且健壮的方法，通过训练稀疏自编码器，我们能够从仅有的正例中直接识别与电路相关的注意力头，实现了较高的准确率和召回率，同时降低运行时间。

May, 2024

本文旨在探讨如何更好地提供可解释的语言模型预测，通过将训练数据从强监督学习转向弱监督和无监督学习，并提出一种既实现并行解释生成和同时预测的非自回归解释模型，能够以比目前自回归模型快 10-15 倍的速度训练分类器。

Feb, 2023

使用稀疏自编码器识别语言模型内部的方向，以消除超级位置现象，并达到模型的透明度和可操控性。

Sep, 2023

本文提出了一种叫做混合回归翻译的翻译模型，它结合了自回归翻译和非自回归翻译模式的优势，通过在自回归过程中预测部分结果，再通过非自回归方式填充其余结果的方式，开发出了一种基于这两种模式的翻译模型，并对其效率和准确性进行了评估和比较。

Oct, 2022

本文提出了一种训练程序，它基于辅助损失函数来控制潜变量所捕获的信息以及留给自回归解码器的信息，该方法可以实现任意强大的自回归解码器，达到具有潜变量的模型中最先进的定量性能，并生成定性令人信服的样本。

Nov, 2017

本研究提出了一种基于自回归模型的图生成方法 (BiGG)，其利用稀疏性避免生成完整的邻接矩阵，并将图生成时间复杂度降至 O ((n + m) logn)。实验表明，该方法不仅比之前的自回归图生成模型能够处理更大的图像，而且生成质量更高。

Jun, 2020

本文提出了一种基于概率模型的搜索建议方法，使用新颖的分层递归编解码器架构，能够考虑任意长度的查询序列，实现上下文感知，解决数据稀疏问题，在下一个查询预测任务中优于现有上下文感知方法，并且可以用于许多其他应用。

Jul, 2015