Jun, 2022

透过图像特征的迷雾揭示位置信息模式的面纱

PDF
TL;DR本研究提出新的测量位置信息强度的度量方法，指出现有度量方法存在局限性，证明采用现有或新的页面方案，均主要是学习因素，而非其本身特征，并提供了 PPP（Padding 产生的位置信息模式）的定义和可视化方法。
convolutional neural networkspositional informationmetricsencodinglearning artifact
发现论文，激发创造
  • CNN 中位置信息的深入研究：位置、填充和预测

    本论文研究了卷积神经网络（CNNs）中位置信息的编码方式和其对语义表征的影响，通过设计新颖的任务和语义目标测试终止边界对语义表征的影响，揭示零填充驱动 CNNs 在其内部表征中进行位置信息编码的新发现，并证明位置信息既可以帮助也可以阻碍性能。

    Jan, 2021

  • 全局池化，不止眼见所及: CNN 中位置信息以通道方式编码

    本文挑战了将三维卷积神经网络中的空间维度通过全局池化折叠成向量会删除所有空间信息的普遍假设，并证明了基于通道维度排序编码位置信息，而语义信息大多不是。其次，我们提出了简单而有效的数据增强策略和损失函数以提高 CNN 输出的平移不变性，以及一种有效确定潜在表示中哪些通道负责编码整体位置信息或区域特定位置信息的方法。这些发现将受益于关注 CNN 特征的研究领域。

    Aug, 2021

  • 利用周边预测填充改进卷积神经网络中的翻译不变性

    本文提出了一种名为 PP-Pad 的新型填充方法，该方法可以进行每个任务的填充值的端到端训练，从而取代了零填充方法，同时还提出了一种评估模型平移不变性的新方法，在一个语义分割任务中，这种方法实现了比以往方法更高的精度和平移不变性。

    Jul, 2023

  • 卷积神经网络编码多少位置信息？

    本文通过一系列实验发现卷积神经网络在学习卷积核的时候竟然能够隐式地编码图片中绝对位置的信息。

    Jan, 2020

  • PIP：位置编码图像先验

    本文提出了一种基于 Fourier 特征和像素级 MLP 的图像先验模型 ——Positional Encoding Image Prior (PIP)，通过在各种图像重建任务中的应用表明它与 Deep Image Prior (DIP) 相当，并且在处理视频时表现出更好的稳定性。

    Nov, 2022

  • 探究位置信息在视觉语言模型中的作用

    研究了视觉语言模型中的位置信息对图像 - 文本匹配任务的影响，并提出了两种解决策略，即位置信息预训练和基于交叉模态匹配的对比学习。结果显示，即使位置信息存在，模型仍不能正确地分类具有详细位置语句的图像。

    May, 2023

  • 广义拉普拉斯位置编码用于图表示学习

    本文通过泛化定义拉普拉斯嵌入的优化问题，提出了一族新的图形式的位置编码，并讨论了一种计算这些位置编码的方法，证实了这种新的位置编码可以提高 MPNN 的表述能力，同时给出了初步的实验结果。

    Oct, 2022

  • 遮蔽拼图：一种用于视觉 Transformer 的多功能位置嵌入

    提出一种名为 Masked Jigsaw Puzzle (MJP) 的位置嵌入方法，用于解决 ViT 中的位置嵌入对隐私泄露的问题。实验结果表明，MJP 方法在一定程度的遮蔽之下，既可以提高性能和鲁棒性，也可以显著提高在梯度攻击下的隐私保护能力。

    May, 2022

  • 生成对抗网络中的位置编码为空间归纳偏差

    该论文研究了产生式模型的位置编码对于生成高保真度图像的作用，发现使用零填充时的隐式位置编码是生成器捕捉全局结构的关键，并且使用一种更灵活的显式位置编码可以显著提高产生式模型的性能。

    Dec, 2020

  • 增加遮挡时，词序很重要

    本研究探讨了在 Transformer-based 神经语言模型中移除位置编码的影响，发现掩码语言建模任务中位置信息的重要性随着掩码数量的增加而增加，并且没有位置编码的模型不能完成该任务，这揭示了 Transformers 通过位置编码捕捉语言的顺序敏感方面的直接关系。

    Nov, 2022