Feb, 2024

具有动态停止的循环变压器

PDF
TL;DR本文研究了两种主要方法在增强 Transformer 与循环机制方面的归纳倾向性，其中一种是类似于通用 Transformer 的逐层循环方法，另一种是类似于时态潜变块的分块时间循环方法。此外，我们提出并研究了扩展和组合上述方法的新方式，例如，我们为通用 Transformer 提出了一种基于全局均值的动态停止机制，并将时态潜变块与通用 Transformer 的要素进行了增强。我们通过一些诊断性任务（如长距离竞技场，翻转语言建模，列表操作和逻辑推理）比较了这些模型，并探讨了它们的归纳倾向性。
发现论文，激发创造
  • 基于 Transformer 的增量自然语言理解模型实证分析

    本文探讨了在英语 NLU 中使用线性变压器（LT）实现增量式处理的可行性。我们的结果显示，与标准变压器和具有重启增量性的 LT 相比，循环 LT 模型具有更好的增量性能和更快的推理速度，代价是部分非增量（完整序列）的质量下降。我们表明通过训练模型等待正确的上下文也有助于减轻性能下降以及使用输入前缀进行训练有助于提供正确的部分输出。

    Sep, 2021

  • 快速深度自适应变压器

    本文提出基于互信息和重构误差两种方法来测量输入词语的难度和估计相应的自适应深度，从而摆脱判停单元，并提高深度自适应模型的速度和稳定性。实验证明，该方法能够在保持高准确性的同时，加快原始 Transformer 速度（高达 7 倍），并提高效率和鲁棒性，相对于其他深度自适应方法具有显著优势。

    Apr, 2020

  • 通用变压器

    Universal Transformer 是一种并行自我关注循环序列模型，它将前馈序列模型（例如 Transformer）的并行性和全局感受野与递归的归纳偏差相结合，解决了在某些简单任务中标准 Transformer 失败的问题，并取得诸多算法和语言理解任务上优越的表现。

    Jul, 2018

  • 重新思考 Transformer 在解决 POMDP 中的应用

    这篇论文研究了在现实世界场景中，像强化学习（RL）这样的序贯决策算法不可避免地面对具有部分可观察性的环境，着重探讨了流行架构 Transformer 在部分可观察马尔可夫决策过程（POMDPs）中的有效性，并揭示了它的理论局限性，将可被 Transformer 难以建模的正则语言归约为 POMDPs，这对于 Transformer 在学习 POMDP 特定的归纳偏见构成了重大挑战，因为 Transformer 缺乏像 RNNs 这样的其他模型中固有的循环特性，该论文质疑了 Transformer 作为序列模型应用于 RL 的普遍信念，并提出引入逐点循环结构，深度线性循环单元（LRU）作为部分可观察 RL 的一个合适的替代品，并通过实证结果凸显了 Transformer 的次优性能和 LRU 的可观实力。

    May, 2024

  • 关于循环模型在长序列中的复兴：变形器时代的调研和研究机会

    深度学习中基于 Transformer 和循环神经网络的顺序处理对于处理长序列数据和无限长度序列数据具有重要意义。

    Feb, 2024

  • 时间潜在瓶颈：序列学习中快速与慢速处理机制的综合

    该研究探讨了如何将循环神经网络与 Transformers 结合起来，以实现更好的压缩表示和表达能力，以在视觉感知和序列决策任务中提高样本效率和泛化性能。

    May, 2022

  • Transformer 循环建模

    研究表明，Transformer 模型虽然仅基于注意力机制，但缺乏循环机制限制了其翻译能力的提高，本文提出使用一个额外的循环编码器来直接建模循环，并引入一种新的注意力循环网络来结合注意力和循环网络的优点，在 WMT14 英汉和 WMT17 中英机器翻译任务中取得了良好的表现，研究同时发现通过一个单循环层将源序列和目标序列相连可以显著提高模型性能。

    Apr, 2019

  • 层级 Transformer 用于长文档分类

    该研究介绍了如何通过引入基于循环层或其他 Transformer 的单输出层对长文本进行 BERT 模型的微调，成功将其应用于客户电话满意度预测和话题分类任务中，并在两个任务中取得了显著的改进。

    Oct, 2019

  • 语言模型作为层次编码器

    利用超几何空间重新训练语言模型中的分层转换器编码器（Hierarchy Transformer encoders，HiTs），为回归语言模型中隐含的分层结构提供了一种新的方法，通过聚类与层级组织相关实体来提高在推论、预测和跨层次知识传递等任务中的性能和可转移性。

    Jan, 2024

  • 分层 Transformer 是更高效的语言模型

    通过建立分层结构的 Transformer 模型 Hourglass，让 Transformer 可以更加高效地处理长序列，在 ImageNet32 生成任务方面表现出新的最先进，同时提高了在广泛研究的 enwik8 基准上的语言建模效率。

    Oct, 2021