BriefGPT.xyz
Sep, 2024
变压器中的统计偏差对泛化与记忆的影响
Generalization vs. Memorization in the Presence of Statistical Biases in Transformers
HTML
PDF
John Mitros, Damien Teney
TL;DR
本研究探讨了统计偏差如何影响模型在分布内和分布外数据上的泛化能力，针对变压器模型的过度信赖虚假相关性的问题进行分析。研究表明，这些统计偏差会削弱模型在分布外数据上的表现，从而高估其泛化能力，揭示了偏差对模型推理过程的关键影响。
Abstract
This study aims to understand how
Statistical Biases
affect the model's ability to generalize to in-distribution and out-of-distribution data on
Algorithmic Tasks
. Prior research indicates that
→