通过探索Transformer模型的设计空间，我们发现一些设计上的决策对该模型的归纳偏差有很大的影响。我们发现这些决策可以显著地提高Transformer模型的组合泛化能力，并在各种复合任务中实现了比文献报道的更好的泛化结果，并在语义分析组合泛化基准（COGS）和字符串编辑操作组合基准（PCFG）中实现了最先进的结果。
Aug, 2021
该论文提出了两种辅助序列预测任务来帮助解决神经模型在学习符号结构时的不足，并通过在SCAN数据集上的实验证明了所提出的方法可以提高Transformer模型理解命令的组合结构的能力。
Sep, 2021
本文介绍了一种测量神经程序合成方法能否组合泛化的方法，引入了基于两个流行数据集的任务基准套件，以评估合成器在组合泛化方面的能力，最后通过新的注意机制来改进变压器模型的组合泛化能力
Apr, 2022
该文探讨了怎样使用Transformer网络在算法任务中表现良好，展示了多层transformer网络在任务分解中的可靠性解决方案，以及所有相关任务中的共享计算的利用。
Oct, 2022
使用谷歌的翻译翻译：“该论文介绍了基于变压器的模型如何理解世界，并将语言表达与现实世界联系起来，这对研究者在这一领域的工作非常有帮助。通过在基于网格的导航任务上进行的基准测试，我们发现识别网格世界中的目标位置是模型面临的主要挑战，变压器可以泛化到更深的输入结构，并提供了一种更简单的基于调节的组合任务，以调查变压器的计算行为。
大型语言模型的新兴泛化特性方面已经有了惊人的发现，但在诸多简单推理任务（如算术和奇偶性等）上仍存在问题。本研究针对算法任务的长度泛化范围，通过提出一个统一的框架，阐述了Transformer模型在特定任务上表现出的能力和方式。
Oct, 2023
通过对一系列广泛而系统的实验，本文展示了：（1）自回归Transformer模型可以学习训练数据中的组合结构，并能够推广到指数甚至组合数量的函数；（2）通过生成中间输出来组合函数比不生成中间输出更有效地推广到未见过的组合；（3）训练数据对模型组合未见过的函数的能力有显著影响；（4）模型后半部分的注意力层对于组合性至关重要。
Nov, 2023
通过模块性和超网络的研究，我们证明了从有限数据中的元学习可以发现能够组合性地概括的模块化解决方案。
Dec, 2023
通过在不同顺序的训练实例和打乱实例标签中训练模型，以测试强迫模型进行上下文学习对组成概括的促进作用的假设，研究表明，以这种方式训练的模型在组成概括方面确实显示出改进，证明了上下文学习问题作为归纳偏差用于概括的有效性。
Mar, 2024
通过研究模块化算术任务中上下文学习和技能组合的出现，我们证明了GPT-style transformer模型从分布内到分布外泛化的转变，也发现了最小的能够进行分布外泛化的模型需要两个transformer块。
Jun, 2024