本研究提出 Decoder Tuning 方法，通过优化解码器网络来适应具有冻结参数的预训练模型，并只需要一个 API 查询，可以实现一千倍的加速。

Dec, 2022

提出使用预训练的 encoder-decoder 模型，通过 document to query generation 来进行重新排名，同时在推理时，将其分解为仅有 decoder 的语言模型以提高推理速度，实验结果表明该方法可以比传统的交叉注意模型快 6.8 倍，并且能取得相当的效果。

Apr, 2022

本文提出了一种新的神经网络编码器 ——Poly-encoder，它通过学习全局注意力特征来提高匹配任务的性能，并对三种常见的匹配方法进行了实验比较，得出了 Poly-encoder 相对于 Cross-encoder 和 Bi-encoder 都更快且更准确的结论，并强调了使用大数据集来进行预训练的重要性。

Apr, 2019

本文提出使用雅可比和高斯 - 塞德尔迭代方法对机器翻译的标准贪心自回归解码进行并行重构，以解决 transformers 对机器翻译的效率问题，实现了速度提高，而翻译质量保持。三种并行解码算法被提出并在不同语言和模型上进行了测试，速度提升最多可达 38％，在并行资源上实现的速度几乎达到 2 倍。同时，为了更好地理解模型的条件依赖关系和检查解码过程，提出了解码依赖图可视化器（DDGviz）

May, 2023

本研究论文介绍了一种创新的 AI 辅导方法，通过整合视觉编码器 - 解码器模型，以 Vision Transformer 作为编码器，GPT-2 作为解码器，实现了对视觉输入和文本交互的无缝集成。与传统实践中使用不同模型进行图像识别和文本辅导的做法不同，我们的集成架构直接处理输入图像，实现与 AI 辅导员的自然问答对话。这种独特的策略简化了模型架构，同时提升了人工智能与人类之间的整体用户体验。我们展示了样本结果以证明该模型的能力。结果强调了该方法作为创建涉及视觉输入的多领域高效 AI 辅导模型的潜力，尤其重要的是，无论选择了哪种视觉编码器或文本解码器，该潜力都是成立的。此外，我们对不同大小的 GPT-2 进行了实验，评估其对 AI 辅导员性能的影响，为我们所提出的方法的可扩展性和多功能性提供了宝贵的见解。

Nov, 2023

本研究提出了一种通过加入轻量级适配器模块在 BERT 编码器和解码器之间 fine-tuning 来应对语言生成任务的问题，并在神经机器翻译任务上验证了该方法的有效性。

Oct, 2020

本文介绍了一种简单且轻量级的任务条件模型，名为 Prompt Guided Transformer (PGT)，通过设计一个 Prompt-conditioned Transformer 块，在自注意机制中引入任务特定的提示，以实现全局依赖建模和跨多个任务的参数高效特征适应。实验证明，该方法在使用更少的参数的同时，取得了最先进的结果，并在性能和参数大小之间保持了显著的平衡。

Jul, 2023

对多语种翻译使用深度编码器和浅层解码器 (DEMSD) 的方法，使得在翻译质量没有显著损失的情况下，可获得 1.8 倍的平均速度提升。

Jun, 2022

本文提出一种并行迭代编辑（PIE）模型来解决本地序列转导问题，该模型在很多任务中都表现出竞争力，并且相比于流行的编码器解码器模型，PIE 模型在保持准确性的同时速度更快，其原因主要有：预测编辑而不是令牌，标记序列而不是生成序列，迭代地优化预测以捕获依赖关系，并且将日志分解为编辑和其令牌参数，以利用预先训练的语言模型，例如 BERT。

Oct, 2019

提出了 Big Little Decoder (BiLD) 框架来提高文本生成的推理效率和延迟，通过两个不同大小的模型协同生成文本。在各种文本生成情景下应用 BiLD，如机器翻译、摘要生成和语言建模，在 NVIDIA Titan Xp GPU 上实现高达 2.38 倍的加速且不对性能造成显著的损失。

Feb, 2023