Jul, 2023

保留网络：大型语言模型的转换器接班者

PDF
TL;DR本文提出了 RetNet 作为大型语言模型的基础架构，同时实现了训练并行性、低成本推理和良好的性能表现。通过理论推导，提出了序列建模的 retention 机制，支持三种计算模式，即并行、循环和分块循环，并在语言建模上取得了良好的结果。
retnetlarge language modelsrecurrenceattentionsequence modeling
发现论文，激发创造
  • 关于循环模型在长序列中的复兴：变形器时代的调研和研究机会

    深度学习中基于 Transformer 和循环神经网络的顺序处理对于处理长序列数据和无限长度序列数据具有重要意义。

    Feb, 2024

  • 预训练图循环网络用于语言表示

    本研究提出了一种基于图循环网络的语言模型预训练方法，其在性能、效率和生成多样性方面优于基于注意力机制的 Transformer，用于自监督学习的时候有较高的潜力。

    Sep, 2022

  • RMT：记忆网络与视觉转换器的结合

    我们结合了 RetNet 和 Transformer 提出了 RMT，通过引入显式衰减和空间先验知识的方式，使得 RMT 在计算机视觉任务中表现出卓越的性能。

    Sep, 2023

  • RETURNN 作为一种通用的灵活神经工具箱，应用于翻译和语音识别

    我们比较了 RETURNN 的快速训练和解码速度以及它在翻译和语音识别领域中的表现，它的灵活性使得它可以广泛地应用于各种应用中，并且使用层次预训练方案可以显著提高 BLEU 的得分。

    May, 2018

  • ViR: 视觉记忆网络

    基于自注意力机制的视觉转换器（ViTs）因其对长距离空间依赖关系和大规模训练的出色能力而受到了广泛的关注，然而，其二次复杂度限制了其在许多需要快速推理的场景中的应用。受到自然语言处理中并行化模型的启发，我们提出了一种新的计算机视觉模型，命名为视觉保留网络（ViR），具有双并行和循环结构，以在快速推理和并行训练之间达到最佳平衡，并在需要更高分辨率图像的任务中具有可扩展性。ViR 是第一个尝试在通用视觉骨干网络中实现双并行和循环等效性的方法，我们通过大量实验证实了 ViR 的有效性，并提供了代码和预训练模型的公开获取。

    Oct, 2023

  • R-Transformer：加强循环神经网络的 Transformer 模型

    本文提出了 R-Transformer 模型，结合了 RNN 和多头注意力机制的优点，同时避免了它们各自的缺点，能够在不使用位置嵌入的情况下有效捕捉序列中的本地结构和全局长期依赖关系。通过广泛的实验评估表明，在大多数任务中，R-Transformer 优于最先进的方法。

    Jul, 2019

  • Transformer 循环建模

    研究表明，Transformer 模型虽然仅基于注意力机制，但缺乏循环机制限制了其翻译能力的提高，本文提出使用一个额外的循环编码器来直接建模循环，并引入一种新的注意力循环网络来结合注意力和循环网络的优点，在 WMT14 英汉和 WMT17 中英机器翻译任务中取得了良好的表现，研究同时发现通过一个单循环层将源序列和目标序列相连可以显著提高模型性能。

    Apr, 2019

  • 使用循环实体网络跟踪世界状态

    该研究介绍了一种新模型，经过研究表明这种模型可以解决语言理解任务和推理任务，能够保持和更新世界状态的表示，并且具备类似于神经图灵机或可微分神经计算机的能力，该模型称为 Recurrent Entity Network。

    Dec, 2016

  • 长期循环卷积网络用于视觉识别和描述

    研究比较深度卷积网络和带有循环结构的深度卷积神经网络的效果，针对视频识别、图像描述、检索以及视频叙事方面的问题，开发出一种新颖的循环卷积架构，该架构可以训练端到端，可以同时学习时间动态和卷积感知表示，并具有学习长期依赖性的能力。实验结果证明，循环卷积模型在识别或生成方面与现有的模型相比具有明显的优势。

    Nov, 2014

  • RealFormer: 喜欢残差注意力的 Transformer

    提出了一种名为 RealFormer 的技术，可以创建残差注意力层的 Transformer 网络，并在许多任务上显著优于标准 Transformer 及其变体。该技术不仅稳定了训练，而且还可以导致具有更少注意力的模型，并提供了预训练检查点。

    Dec, 2020