使用子像素网络和多维升频生成高保真图像
提出了一个新的方法来实现输入图像的超分辨率或从随机噪声生成任意比例的新图像,该方法通过预训练的自动编码器、隐式扩散模型和隐式神经解码器及其学习策略组成。该方法在潜空间中采用扩散过程,与 MLP 在任意比例上的解码器空间相一致,并通过固定解码器反向传播输出图像的错误,提高了输出图像的质量。在广泛的实验中,该方法在图像质量、多样性和尺度一致性等指标方面均优于相关方法,在推理速度和内存使用方面显著优于相关的最新技术。
Mar, 2024
该论文提出了一个像素递归超分辨率模型,可综合提高图像的分辨率并增强其真实感;该模型能够表示多模态条件分布,使用 PixelCNN 结构定义自然图像的先验知识并联合优化条件卷积网络,保持了照片的真实感。
Feb, 2017
UltraPixel 是一种新型架构,利用级联扩散模型在单一模型中生成高质量的多个分辨率(例如 1K 到 6K)的图像,同时保持计算效率。UltraPixel 利用低分辨率图像的语义丰富表示在后期去噪阶段引导高分辨率图像的整体生成,大大降低了复杂性。此外,我们引入了连续上采样和尺度感知归一化层的隐式神经表示,适用于不同的分辨率。值得注意的是,低分辨率和高分辨率处理都在最紧凑的空间中进行,与高分辨率输出相比,共享了大多数参数,只增加了不到 3%的额外参数,大大提高了训练和推断效率。我们的模型通过减少数据需求实现了快速训练,生成了照片级真实感的高分辨率图像,并在广泛的实验中展现出了卓越的性能。
Jul, 2024
通过使用深度展开网络和混合注意力 Transformer 解决 Kronecker SPI 模型的问题,我们提出了一种名为 HATNet 的方法,可以改善真实 SPI 相机的成像质量,并在合成和真实数据上进行了广泛实验证明方法达到了最先进的性能。
Apr, 2024
提出使用离散表示图像的方法,可以让基于自回归的生成模型输出具备更好的大规模连贯性,在 ImageNet 数据集上进行实验,证明了分层条件自回归模型可以在 128×128 和 256×256 的分辨率上生成逼真的图像。
Mar, 2019
我们提出了一种非常简单的贪婪生长方法,用于稳定训练大规模、高分辨率模型的像素级图像扩散模型,避免了级联超分辨率组件的需求。实现这一目标的关键在于仔细预训练核心组件,即负责文本到图像对齐和高分辨率渲染的组件。在利用核心模型进行扩展的基础上,我们提出了一种贪婪算法,将架构扩展到高分辨率端到端模型,同时保持预训练表示的完整性,稳定训练过程,并减少对大规模高分辨率数据集的需求。这使得我们能够生成高分辨率图像的单阶段模型,而无需超分辨率级联。我们的主要结果基于公共数据集,表明我们能够训练出高达 80 亿参数的非级联模型,而无需进一步的正则化方案。Vermeer 是我们的完整管道模型,使用内部数据集训练以生成 1024x1024 图像,在 SDXL 上,相较于人类评估者的 21.4%,它被 44.0%的评估者选择。
May, 2024
本文介绍了一种深度神经网络模型,用于在两个空间维度上序列预测图像像素;该模型对图像的离散概率进行建模,并在深层循环网络中使用了快速的二维循环层和残差连接,实现了比以前的最新技术更好的自然图像日志似然度分数。
Jan, 2016
我们提出了一种新的生成器架构,旨在快速高效地进行高分辨率的图像到图像转换,通过处理各像素点的互不相关的仿射变换和非线性变换的组合,预测参数的快速卷积网络和空间坐标的正弦编码,使模型速度比最先进的基线模型快 18 倍,而在不同的图像分辨率和转换领域生成可比较的视觉质量。
Dec, 2020
本研究提出了一种并行化的 PixelCNN 模型,将某些像素组建模为条件独立,实现了更高效的推理和生成,相比每像素逐一生成,采样速度从 O (N) 提升为 O (log N),实现了 512x512 图像的实用生成。在类条件图像生成、文本图像合成和动作条件视频生成等方面实现了最佳效果。
Mar, 2017
该论文提出了一种基于隐式图像函数的新网络设计 ——UltraSR,它深度融合了空间坐标和周期编码,并通过实验证明了空间编码对于高性能隐式图像函数的重要性,并在 DIV2K 基准测试中取得了新的最先进表现。
Mar, 2021