BriefGPT.xyz
Ask
alpha
关键词
positional skip-wise training
搜索结果 - 1
PoSE: 通过位置跳跃训练实现 LLMs 的高效上下文窗口扩展
本文介绍了 Positional Skip-wisE(PoSE)训练方法,用于将大型语言模型(LLMs)高效地适应于极长的上下文窗口。通过在训练过程中使用具有操作位置索引的固定上下文窗口来模拟长输入,PoSE 将训练长度与目标上下文窗口大小
→
PDF
10 months ago
Prev
Next