- CVPR大规模多样化数据的多项式隐式神经表示
本文提出了 Poly-INR 模型，通过使用多项式函数来消除位置编码的限制，为生成建模任务在复杂领域中采用 INR 模型铺平了道路。Poly-INR 模型在像 ImageNet 这样的大型数据集上进行了定性和定量评估，并表现出与最先进的生成 - 有向无环图上的 Transformer
本篇论文研究了如何在 Transformer architecture 中注入图形结构偏差以更好地处理基于有向无环图的数据，包括构思了一个有效的注意机制来捕捉 DAG 的结构并提出了一种部分顺序的位置编码方法。作者在实验中证明了这个框架能够 - 针对抽象式多文档摘要的文档感知位置编码和语言引导编码
本文提出了一种新的多文档自动摘要模型，使用文档关系编码和基于语言指导的编码辅助 Transformer 模型来增强多文档摘要的质量，实验结果表明该模型可以生成高质量的自动摘要。
- 一种通用、强大、可扩展的图变换器配方
本研究提出了一种关于如何构建通用、强大、可扩展的图形 Transformer 的方案，其中包括位置 / 结构编码、本地消息传递机制、全局注意机制等主要条件，可适用于小规模和大规模图形，并在 16 项基准测试中取得高竞争力的结果。
- EMNLP仍可学习位置信息的 Transformer 语言模型无需位置编码
本研究探讨了基于因果变换的语言模型（LMs），例如 GPT-3，需要某种形式的位置编码，例如位置嵌入。然而，我们发现在没有任何显式位置编码的情况下，这样的 LM 与标准模型仍然具有竞争力，这一现象在不同的数据集、模型大小和序列长度中是鲁棒的 - CVPR增量变换器结构增强的图像修复与遮盖位置编码
该论文提出了一种基于注意力机制的变形器模型依次恢复整体图像结构，利用一个附加的结构修复器，通过零初始化残差加法有效地集成预训练修补模型，采用掩膜位置编码策略提高了不规则掩膜修补效果。
- ICMLPINs: 基于渐进式隐式网络的多尺度神经表示
提出了一种逐渐增加频率编码集的渐进式位置编码方法，构建了一个分层的 MLP 结构，其能够准确地重建具有广泛频谱的场景，并在不需要明确的层级监督下逐步学习场景表示。
- GRPE: 图形 Transformer 的相对位置编码
该研究提出了一种新的位置编码方法，用于学习 Transformer 架构上的图形，结果表明这种方法优于以往的方法并可公开获取其代码。
- 综合位置编码增强图像超分辨率中的多尺度隐式学习
本文通过将频率信息聚合在像素区域中来扩展传统的位置编码，提出了集成位置编码（IPE），并将其应用于最先进的任意尺度图像超分辨率方法之一：局部隐式图像函数（LIIF），提出了 IPE-LIIF。我们通过定量和定性评估展示了 IPE-LIIF - CDistNet: 感知多域字符距离以增强文本识别鲁棒性
本文提出了一种名为 MDCDP 的模块，通过引入注意机制，利用位置编码查询视觉和语义特征，融合两种受约束特征以产生加强的特征，生成良好的内容感知嵌入，能够很好地感知字符之间的间距变化和语义亲和力。通过将多个 MDCDP 堆叠以引导逐渐准确的 - 具有可学习的结构和位置表示的图神经网络
本文提出了一种新的 GNN 网络架构 LSPE，通过引入可学习的位置编码对节点的结构表达和位置表达进行解耦，应用在分子数据集上的实验结果表明 LSPE 能显著提高模型性能。
- 利用双向协作 Transformer 迭代学习解决路由问题
本文提出了一种新颖的双方面协作 Transformer 模型，通过采用循环位置编码法将节点和位置特征分开建模，从而避免了潜在的噪声和不兼容关联，并展示了该模型在解决旅行商问题和车辆路径问题等方面的卓越表现。
- ICCVSIGN: 基于空间信息的生成网络用于广义零样本语义分割
本文提出了零样本语义分割问题中的相对位置编码和退火自训练策略，并在三个基准数据集上进行了全面的实验评估。
- ICCV朝向空间无偏差生成模型
本文针对图像生成模型在数据集中表现出的空间偏见现象，提出了在生成器的每一个尺度注入显式的位置编码，以学习空间上无偏差的生成器，以适应多种任务的需求，包括 GAN 反演、多尺度生成、任意尺寸和宽高比的生成。同时，作者还表明该方法同样适用于去噪 - ACLROPE：基于阅读顺序等变位置编码的基于图的文档信息提取
该论文介绍了一种新的位置编码技术 ROPE，旨在提高文档中单词的阅读顺序建模。在 FUNSD 数据集和大规模付款数据集上的实验证明，ROPE 相对于现有的图卷积网络模型提高了 8.4% 的 F1 分数，特别是在单词标签和单词分组等文档实体提 - GraphiT：在 Transformers 中编码图结构
本文提出了一种名为 GraphiT 的模型，将结构和位置信息融入到变换器体系结构中，以解决图像分类和回归等任务，并通过相对位置编码策略中的正定核和枚举和编码短路径等方法来实现，表现比传统方法更好。此外，该模型还具有解释和可视化图像的特点，有 - 可学习的傅里叶特征用于多维空间位置编码
本文提出了一种基于可学习的 Fourier 特征的新型位置编码方法，能够优化空间多维位置的表示、提高精度和加速收敛速度。
- AAAI一种将 Transformer 网络泛化至图形数据的方法
本文提出了一种用于任意图的变形器神经网络结构，在注意力机制中使用了邻域连接性，用拉普拉斯特征向量代替位置编码，使用批量归一化层代替层归一化，支持边特征表示。实验表明，该结构的性能优于传统的 transformer 模型。
- 生成对抗网络中的位置编码为空间归纳偏差
该论文研究了产生式模型的位置编码对于生成高保真度图像的作用，发现使用零填充时的隐式位置编码是生成器捕捉全局结构的关键，并且使用一种更灵活的显式位置编码可以显著提高产生式模型的性能。
- ICLR重新思考语言预训练中的位置编码
提出一种新的位置编码方法 TUPE，该方法通过将词的上下文相关性和位置相关性分开并采用不同的投影矩阵进行计算，并将它们相加来消除混杂和杂乱的关联。在广泛的实验和离线研究中，我们证明了该方法的有效性。