relative positional encoding | BriefGPT

关键词relative positional encoding

搜索结果 - 8

一种车辆轨迹预测的结构感知车道图变换模型
具有结构感知能力的 Lane Graph Transformer (LGT) 模型将地图拓扑结构编码到注意力机制中，以精确预测自动驾驶车辆周围车辆的未来轨迹。对 Argoverse 2 数据集进行的实验结果表明，与基准模型相比，所提出的 L
PDFa month ago
PoPE：基于勒让德正交多项式的位置编码在大型语言模型中的应用
通过理论洞察和实证分析，我们研究了位置编码在更高维度上不充分表示对注意机制、模型学习相对位置信息的能力和模型的收敛性等关键方面的影响，发现这些挑战不仅存在于绝对位置编码，也可能对旋转位置编码等相对位置编码方法的性能产生负面影响。因此，我们引
PDF2 months ago
多层次时间序列变换器用于长期预测
提出了一种多分辨率时间序列变压器（MTST）框架，采用了多支架构来同时建模不同分辨率的多样化时间模式，通过相对位置编码提取不同尺度上的周期成分，与现有的时间序列变压器相比，在几个真实世界数据集上进行了广泛实验，证明了 MTST 在与最先进的
PDF8 months ago
线性化的相对位置编码
通过单元转换，在现有线性相对位置编码方法的基础上，提出了家族化的线性相对位置编码算法，实现了保持线性空间 - 时间复杂性的新相对位置编码方法框架，并在语言建模、文本分类和图像分类等各种应用中表现出了最先进的性能，强调了一个用于设计线性变压器
PDFa year ago
你的 Transformer 可能没有你期望的那么强大
本文针对基于相对位置编码的 Transformer 模型展开数学分析，证明了其并不是一种完全可逼近连续的序列转序列函数的神经网络，但是提出了满足一定条件的新型注意力机制 URPE 并在多个任务上进行了实验，证明了其在参数效率和性能上均超过了
PDF2 years ago
ICCVSIGN: 基于空间信息的生成网络用于广义零样本语义分割
本文提出了零样本语义分割问题中的相对位置编码和退火自训练策略，并在三个基准数据集上进行了全面的实验评估。
PDF3 years ago
稳定、快速和准确：基于核函数的相对位置编码的注意力机制
使用快速傅里叶变换（FFT）可以有效加速具有相对位置编码（RPE）的 Transformer 模型中的注意力计算，并且适当使用相对位置编码可以缓解基准核化注意力的训练不稳定性问题。
PDF3 years ago
ICML相对位置编码在线性复杂度 Transformer 中的应用
本研究提出了随机位置编码的方法来生成代替传统加性（正弦）位置编码的 PE，并证明其类似于 RPE，建立了位置编码与相关高斯过程的交叉协方差结构之间的联系。这种方法能够弥补针对最近的线性 Transformer 变量不可用于 RPE 的问题，
PDF3 years ago