May, 2024
掌握Transformer：隐含的推理者——通向泛化极限的机械之旅
Grokked Transformers are Implicit Reasoners: A Mechanistic Journey to
the Edge of Generalization
TL;DR我们研究transformers模型是否能够学会隐性地进行参数化知识推理，发现它们能够通过全面且超过过拟合的训练学会隐性推理，但在不同推理类型上的推广程度存在差异：在面对分布之外的例子时，transformers在组合推理上无法进行系统化推广但在比较推理上能够成功。通过训练期间对模型内部进行分析实验，我们发现了隐性推理的机制，如泛化电路的形成以及它与泛化和记忆电路相对效率的关系，还发现了系统性与泛化电路配置之间的关系。我们的研究结果指导着数据和训练设置，以更好地实现隐性推理，并提出了改进transformer架构的潜在方法，如鼓励跨层面的知识共享。此外，我们证明对于具有大型搜索空间的具有挑战性的推理任务，基于非参数化记忆的GPT-4-Turbo和Gemini-1.5-Pro无论在提示样式还是检索增强方面都表现糟糕，而完全掌握隐性推理的transformers模型能够实现近乎完美的准确性，展示了参数化记忆在复杂推理中的威力。