BriefGPT.xyz
Ask
alpha
关键词
polynomial extrapolation
搜索结果 - 1
LongSSM: 论语言模型中的状态空间模型长度扩展
在这篇论文中,我们研究了语言建模中状态空间模型(SSMs)的长度扩展问题。我们发现,使用零隐藏状态初始化的状态空间模型在长度扩展上存在困难,并将此困难解释为多项式外推的等价形式。基于这个理论,我们提出了一种简单而有效的方法 —— 改变隐藏状
→
PDF
a month ago
Prev
Next