ECCVMar, 2022

自适应补丁退出用于可扩展的单图像超分辨率

PDF
TL;DR本文提出了基于自适应补丁退出（APE）的可伸缩方法来实现更实际的加速。我们首先建议训练回归器来预测各个层的增量容量，一旦增量容量低于阈值，特定层上的补丁可以退出。此外，我们提出了一种新的策略来实现网络训练。通过不同的阈值设置，我们的方法可以轻松调整性能和效率的折衷。在各种主干，数据集和缩放因子上进行了广泛的实验证明了我们方法的优点。
heterogeneous computingsingle image super-resolutionadaptive patch exiting (ape)network trainingperformance and efficiency
发现论文，激发创造
  • PatchScaler：一种高效的与补丁无关的扩散模型用于超分辨率

    基于扩散模型的独立于补丁的单图像超分辨率方法 PatchScaler 显着提高了图像质量，降低了计算成本，并实现了快速推理速度。

    May, 2024

  • AdaRevD: 自适应图像去模糊技术中推动可逆解码极限的改进补丁退出方法

    本篇论文介绍了 AdaRevD 方法，通过继承已经训练好的编码器的权重，重新设计了可逆解码器，用于提升图像去模糊的效果，解决了现有方法解码能力的限制，并通过逐渐分离高级退化程度和低级模糊模式来提高模型的性能。同时，通过引入分类器来学习图像块的模糊程度，实现了不同子解码器对图像块进行快速处理，实验证明了 AdaRevD 在图像去模糊方面的极限。

    Jun, 2024

  • 高分辨率图像识别的迭代补丁选择

    提出一种名为 Iterative Patch Selection (IPS) 的简单方法，该方法仅选择最显着的补丁，将其聚合成用于图像识别的全局表示，从而可以在硬件限制下处理任意大小的图像，展现出强大的性能和广泛的适用性，同时使用最少的加速器内存。

    Oct, 2022

  • MSPE：多尺度补丁嵌入激励视觉变换器适应任何分辨率

    本研究提出了一种名为 Multi-Scale Patch Embedding（MSPE）的方法，通过优化贴片嵌入，增强模型对分辨率变化的适应能力，在图像分类、分割和检测任务中通过消除对原始图像的调整，显著提高低分辨率输入的性能，并与现有方法在高分辨率输入方面表现相当。

    May, 2024

  • ScaleCert：具有稀疏浅层的可扩展认证抵御对抗性补丁

    提出在高分辨率图像上实现高可证明鲁棒性的认证防御方法，减少敌对区域的搜索开销和过滤预测噪声，从而通过利用重要神经元的本地化性质增强了认证准确性。

    Oct, 2021

  • SlowFormer：面向计算与能量效率的通用敌对修补攻击 —— 对推理高效视觉转换器的攻击

    近期，在深度模型的推断计算方面取得了很多进展，这些方法可以减少深度模型的计算需求和功耗。我们展示了这些模型容易受到普适性对抗贴片攻击的影响，攻击者通过优化一个贴片，将其粘贴到任意图像上可以增加模型的计算量和功耗。我们运行实验使用了三种不同的高效视觉转换器方法，显示在某些情况下，攻击者只需将一个只占图像面积的 8% 的贴片粘贴上即可将计算量增加到最大限度。同时我们还展示了标准对抗性训练防御方法可以减少攻击的成功率。我们相信为降低深度模型的功耗，未来需要采用自适应高效的方法，希望我们的论文可以鼓励研究人员研究这些方法的强韧性，并开发更好的防御方法来对抗这种攻击。

    Oct, 2023

  • 从粗到细：分层像素整合用于轻量级图像超分辨率

    本研究旨在设计一种新的关注区块，其见解来自于 SR 网络的局部归因图解释。我们使用轻量级全局像素访问模块处理全局区域，使用 Intra-Patch 自我关注模块处理局部区域，并使用级联补丁划分策略来提高恢复图像的感知质量。实验结果表明，我们的方法比最先进的轻量级 SR 方法表现更好。

    Nov, 2022

  • 使用 Transformer 进行高分辨率图像分割的自适应修补

    使用自适应网格细化方法 (Adapative Mesh Refinement, AMR) 可以作为图像细分的预处理步骤，基于图像细节自适应地划分图像补丁，从而减少传给模型的补丁数量。该方法与任何基于注意力的模型无缝地配合使用，能够在实际病理数据集上展示出优于现有技术的分割质量，并在分辨率高达 64K²，最多 2048 个 GPU 的情况下获得 6.9 倍的几何平均加速。

    Apr, 2024

  • 单个网络学习任意尺度的超分辨率

    本文提出了一种基于不同比例尺下特征适应块和上采样层的单幅图像超分辨率网络的方法，并利用特定比例尺下的网络知识，提出了一种比例尺 - aware 知识转移方法。结果表明，该方法可以在保持整数比例尺下的图像超分辨率性能的同时，在非整数和非对称跨度方面取得有前途的结果，而附加的计算和内存成本非常小。

    Apr, 2020

  • 可微分的图像识别补丁选择

    通过不可区分的 Top-K 算子选择图像中最相关的部分，以高效处理高分辨率图像。 该方法可以与任何下游神经网络接口，以灵活的方式聚合不同补丁的信息，并允许整个模型使用反向传播进行端到端训练。该结果适用于交通标志识别，补丁之间的关系推理以及在训练期间不使用对象 / 部件边界框注释的细粒度识别。

    Apr, 2021