linear position interpolation | BriefGPT

关键词linear position interpolation

搜索结果 - 1

位置插值改进 ALiBi 外推
使用线性位置插值来扩展采用线性偏差注意力 (ALiBi) 的模型的外推范围，研究表明，位置插值显著提高了上游语言建模和下游摘要和检索任务的外推能力。
PDF9 months ago