像素适配器：基于图的场景文本图像超分辨率后处理方法

Sep, 2023

像素适配器：基于图的场景文本图像超分辨率后处理方法

Pixel Adapter: A Graph-Based Post-Processing Approach for Scene Text Image Super-Resolution

Wenyu Zhang, Xin Deng, Baojun Jia, Xingtong Yu, Yifan Chen...

TL;DR当前的场景文本图像超分辨率方法主要关注于提取稳健特征、获取文本信息和复杂的训练策略以生成超分辨率图像。然而，现有的方法很少关注将低分辨率图像转换为高分辨率图像过程中至关重要的上采样模块。为了解决这个问题，我们提出了基于图注意力的像素适配器模块（Pixel Adapter Module，PAM），用于解决上采样引起的像素失真问题。与以往的图注意力机制不同的是，我们的方法通过消除对稀疏邻接矩阵的依赖，引入滑动窗口的方法进行有效并行计算，从而实现了效率和内存利用率的 2-3 个数量级的改进。此外，我们引入了基于 MLP 的连续残差块（MSRB）用于从文本图像中提取稳健特征，并引入了局部轮廓感知损失（LCA 损失）来增强模型对细节的感知能力。在 TextZoom 上的综合实验证明，我们的方法生成了高质量的超分辨率图像，超过了现有方法在识别准确性上的表现。对于单阶段和多阶段策略，我们分别实现了 0.7% 和 2.6% 的改进，将性能从 52.6% 和 53.7% 提高到 53.3% 和 56.3%。这里是代码的链接：this https URL

Abstract

Current scene text image super-resolution approaches primarily focus on extracting robust features, acquiring text information, and complex training strategies to generate super-resolution images. However, the upsampling module, which is crucial in the process of converting low-resolut

scene text image super-resolution pixel adapter module (pam)graph attention mlp-based sequential residual block (msrb)local contour awareness loss

发现论文，激发创造

从粗到细：分层像素整合用于轻量级图像超分辨率

本研究旨在设计一种新的关注区块，其见解来自于 SR 网络的局部归因图解释。我们使用轻量级全局像素访问模块处理全局区域，使用 Intra-Patch 自我关注模块处理局部区域，并使用级联补丁划分策略来提高恢复图像的感知质量。实验结果表明，我们的方法比最先进的轻量级 SR 方法表现更好。

Nov, 2022

使用像素注意力实现高效图像超分辨率

本研究旨在设计一种轻量级卷积神经网络，用于图像超分辨率，提出了一种像素关注机制用于构建简洁且有效的网络，并分别提出了基于像素关注的主干和重建分支的构建块。该模型具有较好效果且参数量只有 SRResNet 和 CARN 的 17.92％和 17.09％。

Oct, 2020

基于 p-Laplacian 的适应性生成预训练视觉 - 语言模型

本文提出了一种新的建模框架，将适配器调谐视觉 - 语言模型中的注意力转化为基于注意力图的图消息传递过程，其中，投影查询和值特征以及注意力矩阵构成节点特征和图邻接矩阵。在这个框架中，适配器调谐视觉 - 语言模型需要处理异种图，为此，我们提出了一种新的适配器架构 $p$-adapter，在图神经网络中使用 $p$-Laplacian 消息传递。我们在不同的预训练的视觉 - 语言模型和多模态任务上进行了大量实验，包括视觉问答、视觉蕴涵和图像字幕生成。实验结果验证了我们的方法在参数高效的迁移学习方法中的显著优势。

Dec, 2023

ResAdapter：扩散模型中的域一致分辨率适配器

通过解决训练领域外分辨率图片生成的困境，我们提出了 Resolution Adapter (ResAdapter)，一个专门为扩散模型设计的领域一致适配器，以生成无限分辨率和宽高比的图片。与其他多分辨率生成方法不同，ResAdapter 直接生成动态分辨率的图片，并在学习了纯分辨率先验知识后，通过与个性化扩散模型配合生成无限分辨率的图片，同时保留其原始风格。全面的实验证明，只需 0.5M 的 ResAdapter 便能处理可灵活设置分辨率的图片，与其他模块兼容，并可集成到其他多分辨率模型中，高效地生成更高分辨率的图片。

Mar, 2024

像素递归超分辨率

该论文提出了一个像素递归超分辨率模型，可综合提高图像的分辨率并增强其真实感；该模型能够表示多模态条件分布，使用 PixelCNN 结构定义自然图像的先验知识并联合优化条件卷积网络，保持了照片的真实感。

Feb, 2017

PaLM2-VAdapter：渐进对齐语言模型构建强大的视觉语言适配器

我们的研究表明，渐进对齐语言模型能够有效地连接冻结的视觉编码器和大型语言模型。通过采用渐进对齐的语言模型作为视觉 - 语言适配器，我们的方法在收敛速度、性能和可扩展性方面都超过了现有的方法，并且使用的参数数量比现有的大规模视觉 - 语言模型减少了 30~70%，从而实现了显著的效率提升。

Feb, 2024

场景文本图像超分辨率：基于内容感知损失和交叉变换块的方法

使用 Criss-Cross Transformer Blocks 和 Content Perceptual Loss，利用多尺度文本识别特征将内容意义有效地融入框架中，设计出了 TATSR 来提高文本图像的可读性和人类感知。在各种语言数据集上的广泛实验表明，TATSR 在识别精度和人类感知方面优于现有技术。

Oct, 2022

面向空间变形鲁棒的文本关注网络用于场景文本图像超分辨率

本论文介绍了基于 CNN 的文本超分辨率方法，其中包括文本识别、文本先验信息提取和全局注意机制等技术，并通过在 TextZoom 数据集上的实验验证了该方法的良好性能和准确性。

Mar, 2022

Adapter-X: 一个新颖的面向视觉的普适参数高效微调框架

Adapter-X 是一种新的框架，通过参数共享和动态分配，以及引入特定设计来提高适应性，在更少的参数下优于传统的微调方法。

Jun, 2024

野外场景文本图像超分辨率

本文提出一种用于自然场景摄影下的低分辨率文本识别的新方法，该方法利用超分辨率技术对图像进行预处理，并开发了一种真实场景文本超分辨率数据集（TextZoom）。我们引入了三个新型模块，包括序列残差块、边界感知损失和中央对齐模块。通过对 TextZoom 数据集的广泛实验，我们证明了我们的 TSRN 模型具有显著提升低分辨率文本识别准确性的能力。

May, 2020