任务驱动的单图像文档扫描超分辨重建
本文提出一种深度学习方法用于图像超分辨率,采用卷积神经网络直接将低分辨率图片转换为高分辨率图片,能够实现较快的速度和超强的恢复质量,扩展支持三种颜色通道同时处理。
Dec, 2014
本文总结了我们参加ICDAR2015文本图像超分辨率比赛的入门知识。根据ICDAR2015 TextSR数据集和Tesseract-OCR 3.02系统,我们的文本图像超分辨率框架取得了胜利,使用低分辨率图像作为输入,OCR准确性得分为77.19%,与使用原始高分辨率图像的78.80%相当。
Jun, 2015
本研究探讨图像超分辨率如何在低分辨率图像目标检测任务中发挥积极作用,提出了一种新的框架来训练深度神经网络,通过传统检测 loss 与显式结合得到的检测 Loss 来优化超分辨率子网络,证明了任务驱动的超分辨率能显著提高各种条件和缩放因子下目标检测器在低分辨率图像上的准确性。
Mar, 2018
比较了三个经典和三个最近引入的具有挑战性的数据集上的30多种最先进的超分辨率卷积神经网络,提出了一种基于深度学习的超分辨率网络的分类方法,并提出了现有技术的几个缺点和未来研究方向。
Apr, 2019
本文介绍了一种多阶段文字先验指导的超分辨率(STISR)分类模型,在基准TextZoom数据集上表现出明显的改进,通过将字符概率序列作为文本先验嵌入到STISR模型训练中,以提高低分辨率场景文本图像的分辨率和视觉质量,从而有效提高现有STISR方法的文本识别精度。
Jun, 2021
使用Criss-Cross Transformer Blocks和Content Perceptual Loss,利用多尺度文本识别特征将内容意义有效地融入框架中,设计出了TATSR来提高文本图像的可读性和人类感知。在各种语言数据集上的广泛实验表明,TATSR在识别精度和人类感知方面优于现有技术。
Oct, 2022
当前的场景文本图像超分辨率方法主要关注于提取稳健特征、获取文本信息和复杂的训练策略以生成超分辨率图像。然而,现有的方法很少关注将低分辨率图像转换为高分辨率图像过程中至关重要的上采样模块。为了解决这个问题,我们提出了基于图注意力的像素适配器模块(Pixel Adapter Module,PAM),用于解决上采样引起的像素失真问题。与以往的图注意力机制不同的是,我们的方法通过消除对稀疏邻接矩阵的依赖,引入滑动窗口的方法进行有效并行计算,从而实现了效率和内存利用率的2-3个数量级的改进。此外,我们引入了基于MLP的连续残差块(MSRB)用于从文本图像中提取稳健特征,并引入了局部轮廓感知损失(LCA损失)来增强模型对细节的感知能力。在TextZoom上的综合实验证明,我们的方法生成了高质量的超分辨率图像,超过了现有方法在识别准确性上的表现。对于单阶段和多阶段策略,我们分别实现了0.7%和2.6%的改进,将性能从52.6%和53.7%提高到53.3%和56.3%。这里是代码的链接:this https URL
Sep, 2023
本文提出了一种名为SR4IR的图像超分辨率增强方法,通过引导生成助于实现低分辨率图像处理时的满意图像识别性能的超分辨率图像。该方法使用了任务驱动感知损失来帮助超分辨率网络从专门为特定任务定制的网络中获取任务特定的知识,并通过交叉质量补丁混合和交替训练框架显著增强了任务驱动感知损失的效果。通过广泛的实验,证明了SR4IR在语义分割、目标检测和图像分类等特定图像识别任务中取得了出色的任务性能。
Apr, 2024