提出了一种采用两个辅助任务进行训练，学习在推断时重新排列生成样本的自回归实体链接模型。实验表明，在医学和新闻领域的两个基准数据集上，该模型在不使用知识库或候选集的情况下创造了新的最高成果，并表明辅助任务对提高性能很关键。
Apr, 2022
GENRE 是第一个通过自回归方式逐个 token 生成实体名称以检索实体的系统，此方法可以在自动编码器中直接捕捉上下文和实体名称之间的关系，从而减少内存占用并提高检索效率。
Oct, 2020
该研究旨在通过大型语言模型（LLM）减少命名实体识别（NER）的生成延迟。通过并行解码技术，该方法在不需要额外模块或架构修改的情况下实现了对 NER 中所有提及的同时解码，从而提高了推理速度，同时保持了与最先进方法相当的预测质量。
Feb, 2024
通过结合线性注意力和推测解码，我们对现有线性注意力方法在自回归大语言模型中的功效进行了全面研究，并引入了一种增强的线性化语言模型，实验证明其在训练和生成过程中比先前的线性注意力方法更有效率。
Jun, 2024
本文提出使用雅可比和高斯 - 塞德尔迭代方法对机器翻译的标准贪心自回归解码进行并行重构，以解决 transformers 对机器翻译的效率问题，实现了速度提高，而翻译质量保持。三种并行解码算法被提出并在不同语言和模型上进行了测试，速度提升最多可达 38％，在并行资源上实现的速度几乎达到 2 倍。同时，为了更好地理解模型的条件依赖关系和检查解码过程，提出了解码依赖图可视化器（DDGviz）
May, 2023
提出了一种编码器 - 解码器模型来消除实体歧义，通过更详细的实体描述来改进基准性能，取得了强大而稳健的性能，尤其在 ZELDA 基准上比 GENRE 提高了 +1.5%，并在 GERBIL 基准的全流程实体链接中比 EntQA 提高了 +1.5%。
Apr, 2024
本研究发现，在编码器足够深的情况下，单层自回归解码器可以显著地优于拥有相似推理速度的强大非自回归模型，并认为自回归基准与非自回归方法之间的速度劣势在某些方面被高估，这些结果为未来研究快速且准确的机器翻译建立了新的协议。
Jun, 2020
我们提出了一种新的方法，将无结构文本中的实体和关系提取作为条件序列生成问题，采用基于跨度的方法生成线性化图，其中节点表示文本跨度，边表示关系三元组。通过跨度表示，我们的模型可以捕捉实体和关系的结构特征和边界，并通过指向机制将生成的输出与原始文本进行关联。基准数据集上的评估验证了我们方法的有效性，展示了竞争性的结果。
Jan, 2024
通过并行自回归生成的方法以及与推理解码相结合，可以显著提高大型语言模型的生成速度和性能。
本文介绍了 mGENRE，一个多语言实体链接（MEL）问题的序列到序列系统。使用自回归网络，mGENRE 将输入句子中的实体转化为 KB 中的目标实体，采用多语言实体名称匹配方案，在零样本情境下取得 50% 以上的性能提升，实现了最新的最好表现。
Mar, 2021