高分辨率图像识别的迭代补丁选择

ICLROct, 2022

高分辨率图像识别的迭代补丁选择

Iterative Patch Selection for High-Resolution Image Recognition

Benjamin Bergner, Christoph Lippert, Aravindh Mahendran

TL;DR提出一种名为 Iterative Patch Selection (IPS) 的简单方法，该方法仅选择最显着的补丁，将其聚合成用于图像识别的全局表示，从而可以在硬件限制下处理任意大小的图像，展现出强大的性能和广泛的适用性，同时使用最少的加速器内存。

Abstract

high-resolution images are prevalent in various applications, such as autonomous driving and computer-aided diagnosis. However, training neural networks on such images is computationally challenging and easily leads to out-of-memory errors even on modern GPUs. We propose a simple metho

high-resolution images neural networks iterative patch selection (ips)cross-attention based transformer image recognition

发现论文，激发创造

可微分的图像识别补丁选择

通过不可区分的 Top-K 算子选择图像中最相关的部分，以高效处理高分辨率图像。该方法可以与任何下游神经网络接口，以灵活的方式聚合不同补丁的信息，并允许整个模型使用反向传播进行端到端训练。该结果适用于交通标志识别，补丁之间的关系推理以及在训练期间不使用对象 / 部件边界框注释的细粒度识别。

Apr, 2021

视觉系统的资源高效感知

应对高分辨率图像处理中的计算挑战，提出了一种利用内存高效的基于块处理的框架，通过全局上下文表示和局部块信息实现对图像内容的全面理解，并在不受内存限制的情况下对超高分辨率图像进行训练，在分类、目标检测和分割等七个基准测试中取得了卓越性能，甚至在像 Jetson Nano 这样的资源受限设备上也能表现出色。

May, 2024

使用 Transformer 进行高分辨率图像分割的自适应修补

使用自适应网格细化方法 (Adapative Mesh Refinement, AMR) 可以作为图像细分的预处理步骤，基于图像细节自适应地划分图像补丁，从而减少传给模型的补丁数量。该方法与任何基于注意力的模型无缝地配合使用，能够在实际病理数据集上展示出优于现有技术的分割质量，并在分辨率高达 64K²，最多 2048 个 GPU 的情况下获得 6.9 倍的几何平均加速。

Apr, 2024

从粗到细：分层像素整合用于轻量级图像超分辨率

本研究旨在设计一种新的关注区块，其见解来自于 SR 网络的局部归因图解释。我们使用轻量级全局像素访问模块处理全局区域，使用 Intra-Patch 自我关注模块处理局部区域，并使用级联补丁划分策略来提高恢复图像的感知质量。实验结果表明，我们的方法比最先进的轻量级 SR 方法表现更好。

Nov, 2022

使用多尺度神经补丁合成的高分辨率图像修复

提出一种基于多尺度神经网络贴片合成方法的图像修复算法，通过联合优化图像内容和纹理约束，不仅保留了上下文结构，而且通过匹配最相似的中间层特征相关性，产生高频细节。在 ImageNet 和 Paris Streetview 数据集上，该方法取得了最先进的修复准确性。

Nov, 2016

RAMS-Trans: 基于循环注意力多尺度变换器进行细粒度图像识别

通过使用注意力权重来测量原始图像对应的补丁符记的重要性，我们提出了递归注意力多尺度转换器 (RAMS-Trans)，它使用变压器的自我注意力以多尺度的方式递归地学习区分地区的注意力。

Jul, 2021

自适应补丁退出用于可扩展的单图像超分辨率

本文提出了基于自适应补丁退出（APE）的可伸缩方法来实现更实际的加速。我们首先建议训练回归器来预测各个层的增量容量，一旦增量容量低于阈值，特定层上的补丁可以退出。此外，我们提出了一种新的策略来实现网络训练。通过不同的阈值设置，我们的方法可以轻松调整性能和效率的折衷。在各种主干，数据集和缩放因子上进行了广泛的实验证明了我们方法的优点。

Mar, 2022

MSPE：多尺度补丁嵌入激励视觉变换器适应任何分辨率

本研究提出了一种名为 Multi-Scale Patch Embedding（MSPE）的方法，通过优化贴片嵌入，增强模型对分辨率变化的适应能力，在图像分类、分割和检测任务中通过消除对原始图像的调整，显著提高低分辨率输入的性能，并与现有方法在高分辨率输入方面表现相当。

May, 2024

M2Former：多尺度细粒度视觉识别的补丁选择

提出了一种多尺度补丁选择 (MSPS) 方法，以改善现有基于 Vision Transformers 的模型的多尺度能力。通过在多尺度 Vision Transformer 上的不同阶段选择不同尺度的显著补丁，并引入类令牌传递 (CTT) 和多尺度交叉注意力 (MSCA)，以模拟选定的多尺度补丁之间的交叉尺度相互作用并完全反映在模型决策中，从而提高了特征分层的丰富物体表征并在多个广泛使用的细粒度视觉识别基准上优于 CNN-/ViT- 基模型的 M2Former。

Aug, 2023

通过补丁选择实现人体姿势估计的高效视觉变换器

提出了一种用于减少 Vision Transformers 计算复杂度的简单方法，通过选择和处理最有信息的小片段，我们将二维人体姿态估计网络的结果作为指导进行小片段的选择，实验结果表明这种方法在显著提高速度和减少计算复杂度方面非常有效，而且性能略微下降。

Jun, 2023