Mar, 2023

任意尺度超分辨率的级联局部隐式变换器

PDF
TL;DR本文介绍了一种 Local Implicit Transformer (LIT) 方法，它将注意机制和频率编码技术与本地隐式图像函数相结合，设计了一个跨尺度的局部注意块来有效聚合局部特征，进一步提高了代表性能力，并提出了一种级联的 LIT (CLIT) 方法，利用多尺度特征和渐进式训练策略，在任意超分辨率任务中实现了较好的结果，并胜过了以前的方法。
发现论文，激发创造
  • 少即是多：在视觉 Transformer 网络中降低注意力

    我们提出了一种基于层次结构以及多层感知器与自注意力模块相结合的 Less attention vIsion Transformer（LIT）来提高特征提取效率，并通过学习可变形 Token 合并模块自适应的融合不均匀的信息块，以达到在图像分类、物体检测和实例分割等图像识别任务中具有很好的性能。

    May, 2021

  • 多尺度隐式转换器与重新参数化的任意尺度超分辨率

    最近，基于隐式神经表示的方法在任意尺度超分辨率（ASSR）方面展现出了出色的能力。我们设计了多尺度隐式变换器（MSIT），其中包含一个多尺度神经操作器（MSNO）和多尺度自注意力（MSSA）。通过功能增强、多尺度特征提取和多尺度特征融合，MSNO 获得了多尺度潜在编码。MSSA 进一步增强了潜在编码的多尺度特征，从而提高了性能。此外，为了改进网络性能，我们提出了与累积训练策略相结合的重互作用模块（RIM），以改进网络学习信息的多样性。我们首次在 ASSR 中系统地引入了多尺度特征，并进行了大量实验证明了 MSIT 的有效性，我们的方法在任意超分辨率任务中取得了最先进的性能。

    Mar, 2024

  • 自适应局部隐式图像函数用于任意比例超分辨率

    本研究提出了一种新的自适应局部图像函数（A-LIIF）模型，旨在通过采用编码器和扩展网络，建模多个局部隐式图像函数的加权组合，从而缓解局部隐式图像函数（LIIF）模型在边缘周围出现结构失真和环状伪影等问题，实现图像超分辨率的高精度重建。

    Aug, 2022

  • 多尺度注意力变换器与亮度一致性损失的非均匀低光图像增强方法

    提出了一种多尺度注意力变换器 (MSATr) 的非监督学习方法，以改善低光照下图像的质量，提取局部和全局特征来改善视觉效果，并通过多尺度窗口划分方案、全局变换器分支和循环训练策略来解决亮度不一致的问题。实验证明该方法优于现有的低光照图像增强方法。

    Dec, 2023

  • 屏幕内容图像连续超分辨率的隐式变换网络

    针对面向屏幕内容的超分辨率问题，本文提出一个新的 ITSRN 网络来实现高质量的连续超分辨率，该网络的关键在于调整像素的查询坐标并使用隐式位置编码方案对邻近像素值进行聚合，实验表明该方法在解决压缩和非压缩 SCI 方面优于其他 SR 方法。

    Dec, 2021

  • PSLT: 一种轻量级视觉变换器，具有阶梯自注意力和渐进移位

    本文介绍了使用阶梯自注意力块和渐进式移位机制开发轻量级转换器骨干 (PSTL)，具有较少的计算资源需求，用于各种视觉任务包括图像分类等，相对于现有的模型，PSTL 具有更少的参数和 FLOPs，但在 ImageNet-1k 数据集上却达到了 79.9％的准确率

    Apr, 2023

  • 具有增强自注意力的轻量级视觉 Transformer

    本研究提出了 Lite Vision Transformer（LVT），一种新型的轻量级 transformer 网络，其中包含两种增强自注意力机制，以提高模型在移动部署中的性能表现，并在 ImageNet 识别、ADE20K 语义分割和 COCO 全景分割中具有优越性能。

    Dec, 2021

  • LocalTrans: 跨尺度局部 Transformer 网络用于分辨率变换下的单应性估计

    本文提出了一种多模态的局部变换网络嵌入多尺度结构中，以显式学习分辨率不同的输入图像之间的对应关系，用于解决多尺度千亿像素摄影中的交叉分辨率匹配问题。实验证明，该方法在 MS-COCO 数据集和真实拍摄的交叉分辨率数据集上表现优于其他基于特征和深度学习的同类方法，能够在小于 10 倍的分辨率差异下精确地对齐图像。

    Jun, 2021

  • CiaoSR: 连续隐式注意力在注意力网络中用于任意尺度图像超分辨率

    本文提出了一种连续的隐式关注网络，称为 CiaoSR，以解决在单张图片超分辨率重建中可能遇到的局部模型信息不足、感受野受限的问题，并在多个基准数据集上实验表明 CiaoSR 显著优于现有的单个图像超分辨率方法，并取得了任意比例超分辨率任务的最佳性能。

    Dec, 2022

  • 快速视觉 Transformer 与 HiLo 注意力

    LITv2 是一种基于直接速度评估的设计原则和使用新的自我注意机制 HiLo 的高效 ViT，可以极大地提高图像分类、密集检测和分割等主流视觉任务的效率。

    May, 2022