NIPSOct, 2018

用于语义对应的循环变压器网络

PDF
TL;DR本文提出了利用循环变压器网络（RTNs）对语义相似图像进行密集对应的方法，在迭代过程中估计图像间的空间变换，以及使用这些变换来生成对齐的卷积激活，通过直接估算两幅图像间的变换，而非独立正则化每个图像，我们证明了更高的精度可以得到，同时使用一种基于提出的分类损失的弱监督训练技术。利用 RTNs，在语义对应的多个基准测试中，实现了最先进的性能。
发现论文，激发创造
  • 老电影复兴计划

    本文提出了一种学习框架 —— 循环 Transformer 网络 (RTN)，用于修复破损的旧电影。该方法基于从旁边的帧中学习到的隐藏知识来进行恢复，能够有效推断划痕位置，同时保证时间连续性，利用更强大的 Transformer 块进行空间恢复，实验表明该方法优于现有的解决方案，并且可以有效地传播关键帧的颜色，最终呈现出令人信服的恢复电影。

    Mar, 2022

  • 关系变换网络

    该论文提出了一种新颖的 transformer 模型，用于场景图生成和关系预测，利用编码器 - 解码器架构和节点和边的丰富特征嵌入，通过自我注意力和交叉注意力模拟节点之间和边与节点之间的交互，并引入适用于处理解码器中的边的新的位置嵌入。

    Apr, 2020

  • COTR: 跨图片匹配的对应转换器

    本研究提出了一种新颖的基于深度神经网络的图像对应关系发现框架，可以根据给定的两幅图像和一个查询点在其中一个图像中找到其在另一个图像中的对应关系，并可以检索稀疏或密集的对应关系，同时在推理时，递归地以估计为中心缩放，形成了多尺度通道，从而能够提供高度准确的对应关系。本方法在多个数据集和任务中明显优于现有技术，并不需要针对特定数据集进行重新训练。

    Mar, 2021

  • 通用对应网络

    本文提出了一种深度学习框架，用于准确的视觉对应，并证明了其在几何和语义匹配中的有效性，提出了一种卷积空间变换器来模仿传统特征（如 SIFT）中的补丁归一化，广泛的 KITTI，PASCAL 和 CUB-2011 数据集的实验表明，与使用手工构建或学习特征的先前作品相比，我们的特征具有显着优势。

    Jun, 2016

  • REGTR: 基于 Transformer 的端到端点云对应

    该论文提出了一种新的端到端方法来直接预测配准操作中的对应点，利用 transformer 网络结构中的自注意力和交叉注意力机制来替代传统的特征匹配和 RANSAC 算法，该方法在 3DMatch 和 ModelNet 基准上均取得了最先进的成绩。

    Mar, 2022

  • 用于人物动作的循环转移网络

    本文提出了基于深度循环神经网络的新方法，称为 Recurrent Transition Network（RTN），可以自动生成过渡动画，并通过添加本地地形表示将其变地形感知，从而产生更好的效果。此外，还探讨了在动画超分辨率设置中的应用，结果显示该网络能够重构很难与未压缩的运动序列区分的动作。

    Oct, 2018

  • RMT：记忆网络与视觉转换器的结合

    我们结合了 RetNet 和 Transformer 提出了 RMT，通过引入显式衰减和空间先验知识的方式，使得 RMT 在计算机视觉任务中表现出卓越的性能。

    Sep, 2023

  • 使用重新排序变换器进行实例级别图像检索

    本文提出了一种新的模型 Reranking Transformers (RRTs)，它可以在有监督的环境下整合全局和局部特征，以重排匹配的图像，从而替代代价较高的基于几何验证的过程。经实验表明，该模型的性能优于以前的重排序方法，且使用更少的本地描述符达到更好的结果。

    Mar, 2021

  • 循环空间变换网络

    本文研究了如何将最近提出的空间变换网络（SPN）[Jaderberg et. al 2015] 集成到递归神经网络（RNN）中，形成一个 RNN-SPN 模型，用于对杂乱的 MNIST 序列中的数字进行分类。我们的模型通过对感兴趣的区域进行自适应降采样，从而取得了 1.5% 的错误率，表现优于使用卷积神经网络或卷积神经网络加上 SPN 层的方法。

    Sep, 2015

  • 循环主题转移 GAN 用于视觉段落生成

    本文提出了一种半监督的自然图像描述方法 ——RTT-GAN，利用区域感知和语言机制生成连贯的段落描述，并通过对抗训练达到建立结构性生成器和多层段落判别器之间的生成并评估技术。

    Mar, 2017