Feb, 2025

学习RoPEs:利用STRING改进2D和3D位置编码

TL;DR本研究解决了在大型语言模型中使用的旋转位置编码的局限性,提出了一种新的可分离平移不变位置编码方法STRING。STRING在保持低计算开销的同时,提供了精确的平移不变性,并在视觉变换器中应用,尤其在开放词汇物体检测和机器人控制方面实现了显著提升。