基于结构化任务训练的 Transformer 模型的系统泛化和涌现结构

Oct, 2022

基于结构化任务训练的 Transformer 模型的系统泛化和涌现结构

Systematic Generalization and Emergent Structures in Transformers Trained on Structured Tasks

Yuxuan Li, James L. McClelland

TL;DR该文探讨了怎样使用 Transformer 网络在算法任务中表现良好，展示了多层 transformer 网络在任务分解中的可靠性解决方案，以及所有相关任务中的共享计算的利用。

Abstract

transformer networks have seen great success in natural language processing and machine vision, where task objectives such as next word prediction and image classification benefit from nuanced context sensitivity across high-dimensional inputs. However, there is an ongoing debate about

transformer networks algorithmic tasks systematic processing latent representations attention patterns

发现论文，激发创造

无需种植树木的语法学习：理解变换器何时以及何种方式实现分层普遍化

透过对自然语言数据训练的 Transformer 模型的研究和实验证明，具备语言建模目标的 Transformer 模型更容易学习和推广层次结构，并在处理无法预见的句法结构的句子时表现优异。

Apr, 2024

Transformer 模型解决复合任务

通过探索 Transformer 模型的设计空间，我们发现一些设计上的决策对该模型的归纳偏差有很大的影响。我们发现这些决策可以显著地提高 Transformer 模型的组合泛化能力，并在各种复合任务中实现了比文献报道的更好的泛化结果，并在语义分析组合泛化基准（COGS）和字符串编辑操作组合基准（PCFG）中实现了最先进的结果。

Aug, 2021

Transformer 如何学习主题结构：迈向机制理解

本文研究 transformers 学习的机制和语义结构，揭示了 embedding 层和 self-attention 层如何编码语义结构，具体表现为同主题单词之间的嵌入内积和自注意力相对较高。

Mar, 2023

通过辅助序列预测任务诱导 Transformer 的组合泛化能力

该论文提出了两种辅助序列预测任务来帮助解决神经模型在学习符号结构时的不足，并通过在 SCAN 数据集上的实验证明了所提出的方法可以提高 Transformer 模型理解命令的组合结构的能力。

Sep, 2021

基于梯度下降的 Transformer 网络学习因果结构

通过梯度下降优化算法，变压器模型通过自注意机制在第一个注意力层中编码潜在的因果图，从而学习了因果结构。

Feb, 2024

超网络中的注意力

使用超网络将多头注意力重新定义为低维潜在代码来加强 Transformer 的组合泛化能力，在抽象推理任务上展示了模型规模和数据扩展如何实现组合泛化并生成功能结构化的潜在代码。

Jun, 2024

香草 Transformer 中的分层结构理解

本文研究了神经序列和转换语言模型的层次结构泛化能力，发现通过长时间训练，模型能够学习到层次结构的一般性，对模型深度的分析证明浅层和深层不如中等深度的模型性能优秀。此发现证实了香草珂朵莉模型能够发现和使用自然语言中的层次结构。

May, 2023

当可以进行变形器基础和组合：来自组合泛化基准测试的见解

使用谷歌的翻译翻译：“该论文介绍了基于变压器的模型如何理解世界，并将语言表达与现实世界联系起来，这对研究者在这一领域的工作非常有帮助。通过在基于网格的导航任务上进行的基准测试，我们发现识别网格世界中的目标位置是模型面临的主要挑战，变压器可以泛化到更深的输入结构，并提供了一种更简单的基于调节的组合任务，以调查变压器的计算行为。

Oct, 2022

赋予 Transformer 系统性组合能力的探索

提出了一种名为 CAT 的具有组合性意识的 Transformer 模型以及两个新的预训练任务，实验结果表明 CAT 在组合性感知任务上优于基线模型，对标准语言理解任务的有效性影响较小。

Dec, 2023

变换器在不同深度下能学到什么？对序列学习任务的案例研究

我们研究了具有不同深度的 transformer 架构的能力，通过设计了一套新的序列学习任务系统地评估和理解深度对 transformer 在记忆、推理、泛化和上下文泛化方面的影响。我们发现只有一个注意力层的 transformer 在记忆方面表现出色，但在其他任务方面表现不足。我们还发现，要表现出推理和泛化能力，transformer 至少需要两个注意力层，而上下文泛化能力可能需要三个注意力层。此外，我们还确定了单个注意力层可以执行的一类简单操作，并且表明复杂任务可以通过这些简单操作的组合以及多个注意力层的叠加来解决。这为研究超越我们设计的更实际和复杂的任务提供了启示。数值实验证实了我们的理论发现。

Apr, 2024