双向任意图像缩放:联合优化和循环幂等性
本文提出了一种新的、基于可逆双射转换的图像下采样和上采样建模方法,使用一种随机生成的潜向量来反向生成指定分布的下采样信息,提高了降采样图像的上采样表现。通过定量和定性的图像重建评估,证明了该方法在图像上采样重建方面相比现有方法有显著的改进。
May, 2020
本文针对视频重缩放问题展开研究,提出了基于耦合层可逆神经网络的联合优化方法,LSTM-VRN 利用时间信息进行低分辨率视频上的高频信息显式预测,MIMO-VRN 提出了一种同时降低和提高视频帧组的新策略。与基于图像的可逆模型相比,这两种方法在定量和定性结果上都优于它们,同时也比没有联合优化的视频重缩放方法表现得更好。据我们所知,这是首次尝试联合优化视频降低和提高。
Mar, 2021
本文介绍了一种基于深度学习的图像放大方法,采用逐层递进的递归算法和迭代反向投影算法 (IBP) 对低分辨率图像进行放大处理,然后通过卷积网络的特征提取过程进行修正,使得该方法在较少参数的情况下能够达到最先进的效果。
Sep, 2018
本文提出了一种无监督学习的方法,利用生成对抗网络和 Cycle-in-Cycle 网络结构,通过映射、上采样和微调等三个步骤,将带有噪声和模糊的低分辨率图片转换为高分辨率图片,并在 NTIRE2018 数据集上取得了与有监督模型相当的效果。
Sep, 2018
提出了基于 SRWarp 框架的单图超分辨率方法,能够在任意目标分辨率下进行图像变换,通过自适应变形层和多尺度混合等新颖公式,实现灵活和多样化的图像编辑。
Apr, 2021
该论文提出了 SDFlow,一个将单幅图像超分辨率问题转化为无监督学习的模型,通过在潜在空间中匹配 LR 和 HR 图像的内容信息分布来实现图像降尺度和超分辨率的自动学习。实验结果表明 SDFlow 能够生成多样且逼真的 LR 和 SR 图像。
Oct, 2023
本文提出了一种基于不同比例尺下特征适应块和上采样层的单幅图像超分辨率网络的方法,并利用特定比例尺下的网络知识,提出了一种比例尺 - aware 知识转移方法。结果表明,该方法可以在保持整数比例尺下的图像超分辨率性能的同时,在非整数和非对称跨度方面取得有前途的结果,而附加的计算和内存成本非常小。
Apr, 2020
本文提出了自条件概率框架的视频缩放方法,通过最大化概率来减少信息损失并保留更多有意义的信息,达到改善下游任务(如视频动作识别)、提高视频压缩效率等效果。该方法还进一步扩展到了有损视频压缩系统中,并且取得了在视频缩放、视频压缩和效率动作识别任务上的优越表现。
Jul, 2021
基于隐式图像函数增益的任意尺度超分辨率基于实际图像的普及度增加,因为它可以更好地连续表示视觉世界。然而,现有的任意尺度作品是在模拟数据集上进行训练和评估的,其中低分辨率图像是通过最简单的双三次降采样从其实际值生成的。由于实际世界退化的复杂性更大,这些模型对实际世界场景的泛化能力有限。为了解决这个问题,我们建立了一个新的实际世界超分辨率基准数据集 RealArbiSR,它具有整数和非整数的缩放因子,以训练和评估实际世界的任意尺度超分辨率。此外,我们提出了一种双层可变形隐式表示(DDIR)来解决实际世界尺度任意超分辨率问题。具体来说,我们设计了外观嵌入和变形场来处理由于实际世界退化引起的图像级和像素级变形。外观嵌入对低分辨率输入的特征进行建模,以处理不同尺度上的光度变化,而基于像素的变形场学习了由真实世界和模拟退化在任意坐标处的差异导致的 RGB 差异。大量实验表明,我们训练的模型在 RealArbiSR 和 RealSR 基准上实现了最先进的性能,用于实际世界的任意尺度超分辨率。我们的数据集以及源代码将会公开提供。
Mar, 2024
我们提出了一种非常简单的贪婪生长方法,用于稳定训练大规模、高分辨率模型的像素级图像扩散模型,避免了级联超分辨率组件的需求。实现这一目标的关键在于仔细预训练核心组件,即负责文本到图像对齐和高分辨率渲染的组件。在利用核心模型进行扩展的基础上,我们提出了一种贪婪算法,将架构扩展到高分辨率端到端模型,同时保持预训练表示的完整性,稳定训练过程,并减少对大规模高分辨率数据集的需求。这使得我们能够生成高分辨率图像的单阶段模型,而无需超分辨率级联。我们的主要结果基于公共数据集,表明我们能够训练出高达 80 亿参数的非级联模型,而无需进一步的正则化方案。Vermeer 是我们的完整管道模型,使用内部数据集训练以生成 1024x1024 图像,在 SDXL 上,相较于人类评估者的 21.4%,它被 44.0%的评估者选择。
May, 2024