- Transformer 中的位置编码初始化对关系推理的重要性
学习可学习的位置编码对关系推理任务的重要性进行研究，发现可学习的位置编码优于常用的其他位置编码，并且初始化对学到的表示和下游泛化性能有着重要影响。结果表明，在没有提供或无法确定真实位置的任务中，学习高性能和鲁棒性的位置编码对关系推理任务非常 - GridPE: 基于网格细胞启发框架统一位置编码的 Transformer 算法
通过傅立叶分析和计算神经科学的最新发现，本研究引入一种新颖的位置编码方案，受到网格细胞的启发，利用嵌入到金字塔视觉变换器架构中的 GridPE 技术，提供了一个在任意高维空间中进行位置编码的统一框架，并在转换器的性能上显著提高表现。
- 一种用于密集多标签动作检测的有效高效方法
通过在转换器层中嵌入相对位置编码和非分层结构来解决密集多标签场景下同时学习时间依赖和共现动作关系的挑战，并通过引入一种新的学习范式，以在推断期间不施加额外计算成本的方式显式建模时间共现动作依赖性。
- ICML图转换器泛化能力的提升方法：关注力机制和位置编码的理论探讨
该研究通过理论探索首次分析了浅层图变换器在半监督节点分类中的应用。它使用了自注意力和位置编码，并描述了实现理想的泛化误差所需的样本复杂度和迭代次数的定量特征。此外，文中还展示了自注意力和位置编码如何通过稀疏化注意力图和在训练过程中促进核心邻 - 位置耦合：利用任务结构优化 Transformer 模型的长度泛化
使用位置耦合方法的 Transformer 可以解决包括多位数的加法在内的算术任务，同时还可应用于其他算法任务。
- 带扰动位置编码的三维人体姿势估计中的遮挡处理
利用 PerturbPE 方法，从 eigenbasis 中提取一致且规则的组件来增强模型的鲁棒性和普适性，实验结果在 Human3.6M 数据集上表现出高达 12% 的性能提升，并在缺失两条边的情况下显著改善了性能，创造了新的最先进水平。
- CAPE：用于长度推断的上下文自适应位置编码
提出了一种动态根据输入语境调整的上下文自适应位置编码方法，通过实验验证在真实世界数据集上改善了模型性能，提升了训练长度和长度泛化能力，同时保留了局部和反局部信息。
- 改进转换器使用忠实位置编码
我们提出了一种基于数学基础的新位置编码方法，保证了不丢失输入序列的位置顺序信息，并且系统地改善了时间序列分类任务的预测性能。
- MTGA: 多视角时间粒度对齐聚合在基于事件的唇读中的应用
利用说话人的嘴唇运动的视觉信息来识别单词和句子的口型识别技术，通过多视角时间粒度对齐聚合（MTGA）框架，结合时间分段的体素图列表、时空融合模块、和位置编码的时间聚合模块，本文提出的方法优于基于事件和基于视频的口型识别方法。
- 时间序列预测中位置编码的引人注目特性
Transformer-based methods have made significant progress in time series forecasting, but research on positional encoding - σ-GPTs: 一种新的自回归模型方法
通过为输出添加位置编码，可以实时调节样本的顺序，从而提供优越的性能；该方法在不同领域进行评估，能够显著降低生成所需步骤数。
- 基于形态学的位置编码研究
本研究首次探讨了不同形态结构复杂性的语言中，预训练语言模型（PLMs）中位置编码的重要性如何变化，并囊括了 23 种形态多样的语言和 5 种不同的下游任务。通过选择句法任务和语义任务，我们从各自语言的 BERT 模型中进行研究，实证发现位置 - 利用时间频率相关性和位置信息学习通过知识迁移增强情感辨识中基于谱图的准确度方法
本研究提出一种通过使用视觉转换器（ViT）关注频谱图中频率（y 轴）与时间（x 轴）之间的关联以及通过知识传递在 ViT 之间进行位置信息的传递的方法，从而提高语音情感识别（SER）的准确性，并通过验证实验结果表明，该方法在加权准确性和浮点 - 快速核场景流
我们提出了一种利用经典核表示法的新方法，通过解决线性系统来实现对密集激光雷达点的高效处理，在各种分布场景下具有出色的实时性能和竞争性能，适用于大规模激光雷达数据的高效场景流估计。
- 教授多层感知器更多图信息：一个三阶段多任务知识蒸馏框架
我们研究在大规模图数据集上的图神经网络推理任务中存在的时间和内存消耗的难题，并尝试通过减少对图结构的依赖来克服此问题。为了解决位置信息丢失和低泛化性的两个主要问题，我们提出了一个新的三阶段多任务蒸馏框架，其中使用位置编码来捕捉位置信息，引入 - 点云蟒蛇：基于状态空间模型的点云学习
本研究首次展示了基于 Mamba 的点云方法能够超越基于点的方法，Mamba 具备强大的全局建模能力和线性计算复杂度，对点云分析非常具有吸引力。为了更有效地处理 3D 点云数据，我们提出了一种新颖的一致遍历序列化方法，将点云转换为 1D 点 - 通过位置编码比较图变换器
图转换器的区分能力与位置编码的选择紧密相关，本文旨在理解绝对位置编码和相对位置编码之间的关系，并展示了在图转换器中如何交换这两种类型的位置编码而保持它们的区分能力。基于理论结果，我们对几种位置编码进行了研究并比较了它们在转换器中的区分能力， - 音乐生成的结构导向位置编码
利用结构信息的位置编码框架改进深度学习生成音乐的一项研究，通过使用变换器模型，提出了三种不同类型的位置信息编码方法，并通过两个符号音乐生成任务对其进行全面测试，结果表明这些方法能够提升生成音乐作品的旋律和结构的一致性。
- 由分段三线性网络导出的多面体复合体
基于深度神经网络的三线性插值方法，我们提出了理论洞见和分析性网格提取方法，展示了在黎曼约束下超曲面向平面的转化，同时介绍了一种逼近三个超曲面相交点的方法，从而在正确性、简洁性和效率等方面进行了经验验证，同时研究了黎曼损失与超曲面平面化之间的 - 位置编码帮助递归神经网络处理大词汇量
该研究讨论位置编码对递归神经网络（RNN）的影响，利用合成基准测试。位置编码在时间序列中 “时间戳” 数据点，并且补充了 Transformer 神经网络的能力，因为其缺乏表示数据顺序的内在机制。与此相反，RNN 可以自行对数据点进行时间信