rotary position embedding | BriefGPT

关键词rotary position embedding

搜索结果 - 6

理解长上下文 LLMs 的 RoPE 扩展：一个注意力视角
以关注 LLMs 为研究热点，本文从注意力角度对 RoPE 拓展进行了详细研究，通过实验证明：1）保持与预训练长度一致的注意力模式可提高拓展性能；2）较大的注意力不确定性导致检索错误；3）在 RoPE 拓展中使用更长的预训练长度可以降低注意
PDF15 days ago
RoPE 基于基准的上下文长度界限
在这篇论文中，我们发现位置嵌入在大型语言模型中起到了非常重要的作用。我们提出了长期衰减的新属性，并理论上和经验上揭示了上下文长度与位置嵌入基数之间的关系，为未来的长上下文训练提供了新的启示。
PDFa month ago
地理令牌和地理转换器
该论文介绍了一种针对变压器架构的位置编码方法，使用地理位置信息的输入组件，通过球面坐标定制的位置编码方法。与传统的语言序列不同，这些地理位置的相对顺序不如地理坐标本身重要，为了在嵌入空间中保持真实世界距离和距离的平衡，该方法基于 Rotar
PDF3 months ago
视觉 Transformer 的旋转位置嵌入
使用 RoPE（Rotary Position Embedding）在 Vision Transformer（ViT）中的实际实现对 2D 视觉数据进行了综合分析，结果显示 RoPE 在推理时能够保持精度的同时提高图像分辨率，从而改善 Im
PDF3 months ago
共振 RoPE: 改善大型语言模型的上下文长度通用性
应对在大规模语言模型中的训练短测试长场景下，使用旋转位置嵌入（RoPE）时面临的挑战，本论文引入了共振 RoPE，一种旨在通过对 OOD 位置的 RoPE 特征插值进行精化，显著提高模型性能而无需额外在线计算成本的新方法。另外，我们提出了
PDF4 months ago
基于 RoPE 的外推尺度定律
使用 RoPE 为基础的大型语言模型，通过调整基值和微调文本长度能够显著增强其外推性能，本文提出了从周期性角度描述外推性能与基值及调整文本长度之间关系的统一框架，并解释了外推问题的起源和关键维度，同时在 LLaMA2 7B 和 13B 数据
PDF9 months ago