BriefGPT.xyz
Ask
alpha
关键词
block heterogeneity
搜索结果 - 1
为什么变形器需要 Adam:从 Hessian 的角度看
SGD 在 Transformers 上表现明显不如 Adam,我们通过 Hessian 镜头提供了 SGD 在 Transformers 上失败的解释:(1) Transformers 是 “异质” 的:参数块之间的 Hessian 频谱
→
PDF
4 months ago
Prev
Next