BriefGPT.xyz
Ask
alpha
关键词
resonance rope
搜索结果 - 1
共振 RoPE: 改善大型语言模型的上下文长度通用性
应对在大规模语言模型中的训练短测试长场景下,使用旋转位置嵌入(RoPE)时面临的挑战,本论文引入了共振 RoPE,一种旨在通过对 OOD 位置的 RoPE 特征插值进行精化,显著提高模型性能而无需额外在线计算成本的新方法。另外,我们提出了
→
PDF
4 months ago
Prev
Next