Jun, 2023

动态隐式图像函数用于高效任意尺度图像表示

PDF
TL;DRDIIF 是一种动态隐式图像函数，其使用坐标分组和切片策略从坐标切片到像素值切片进行解码，以显着降低计算成本，并且可以与超分辨率方法集成以实现令人满意的性能。
发现论文，激发创造
  • 自适应局部隐式图像函数用于任意比例超分辨率

    本研究提出了一种新的自适应局部图像函数（A-LIIF）模型，旨在通过采用编码器和扩展网络，建模多个局部隐式图像函数的加权组合，从而缓解局部隐式图像函数（LIIF）模型在边缘周围出现结构失真和环状伪影等问题，实现图像超分辨率的高精度重建。

    Aug, 2022

  • 使用局部隐式图像函数学习连续的图像表示

    本文提出了一种名为 LIIF 的局部隐式图像函数，通过输入图像坐标和周围的 2D 深度特征，预测给定坐标的 RGB 值，训练得到的连续表示可以呈现在任意分辨率下，甚至可以外推到高达 x30 的分辨率，同时 LIIF 还在 2D 中构建了离散和连续表示之间的桥梁。

    Dec, 2020

  • SSIF：学习空间光谱超分辨率的连续图像表示

    该研究论文提出了一种空间 - 光谱隐式函数 (SSIF)，它能够以空间和光谱领域的连续像素坐标和连续波长的方式表示图像，通过实证验证了 SSIF 在两个具有挑战性的空间 - 光谱超分辨率基准上的有效性。研究还表明，即使允许基线模型在每个光谱分辨率上进行单独训练，SSIF 仍然始终优于现有技术的基线模型，并且 SSIF 能够很好地适应不同的未见空间和光谱分辨率，并生成提高下游任务性能（如土地利用分类）1.7％-7％的高分辨率图像。

    Sep, 2023

  • 用于计算优化连续图像表示的潜在调制函数

    通过在潜在空间生成潜在调制以快速适应任何输入特征向量并以任意分辨率进行渲染，提出了一种新颖的潜在调制函数（LMF），该函数将高分辨率 - 高维度解码过程解耦为低分辨率 - 高维度空间中的共享潜在解码和低维度空间中的独立渲染，从而实现了连续图像表示的首个计算最优范式。

    Apr, 2024

  • 多分辨率深度隐式函数用于 3D 形状表示

    本文提出了一种名为 MDIF 的多分辨率深度隐式函数，该模型可以在进行 3D 重建时恢复精细的几何细节，并支持多种应用，其创新点在于可以同时表示不同细节级别并支持逐步编码，支持编码器 - 解码器推理、仅解码器潜在空间优化，并在形状完成任务下获得优于现有技术的性能表现。

    Sep, 2021

  • 使用潜在扩散模型和隐式神经解码器进行任意尺度图像生成和上采样

    提出了一个新的方法来实现输入图像的超分辨率或从随机噪声生成任意比例的新图像，该方法通过预训练的自动编码器、隐式扩散模型和隐式神经解码器及其学习策略组成。该方法在潜空间中采用扩散过程，与 MLP 在任意比例上的解码器空间相一致，并通过固定解码器反向传播输出图像的错误，提高了输出图像的质量。在广泛的实验中，该方法在图像质量、多样性和尺度一致性等指标方面均优于相关方法，在推理速度和内存使用方面显著优于相关的最新技术。

    Mar, 2024

  • 引导深度超分辨率的联合隐式图像函数

    本文提出了一种将指导性先验信息引入深度超分辨率模型的方法，使用联合隐式函数 (JIIF) 来表示目标图像领域，并使用图注意力机制在联合深度隐式函数中学习插值权重，该方法在三个公共基准测试中显着优于现有方法。

    Jul, 2021

  • 学习双层可变形隐式表示在实际尺度任意超分辨率中的应用

    基于隐式图像函数增益的任意尺度超分辨率基于实际图像的普及度增加，因为它可以更好地连续表示视觉世界。然而，现有的任意尺度作品是在模拟数据集上进行训练和评估的，其中低分辨率图像是通过最简单的双三次降采样从其实际值生成的。由于实际世界退化的复杂性更大，这些模型对实际世界场景的泛化能力有限。为了解决这个问题，我们建立了一个新的实际世界超分辨率基准数据集 RealArbiSR，它具有整数和非整数的缩放因子，以训练和评估实际世界的任意尺度超分辨率。此外，我们提出了一种双层可变形隐式表示（DDIR）来解决实际世界尺度任意超分辨率问题。具体来说，我们设计了外观嵌入和变形场来处理由于实际世界退化引起的图像级和像素级变形。外观嵌入对低分辨率输入的特征进行建模，以处理不同尺度上的光度变化，而基于像素的变形场学习了由真实世界和模拟退化在任意坐标处的差异导致的 RGB 差异。大量实验表明，我们训练的模型在 RealArbiSR 和 RealSR 基准上实现了最先进的性能，用于实际世界的任意尺度超分辨率。我们的数据集以及源代码将会公开提供。

    Mar, 2024

  • 综合位置编码增强图像超分辨率中的多尺度隐式学习

    本文通过将频率信息聚合在像素区域中来扩展传统的位置编码，提出了集成位置编码（IPE），并将其应用于最先进的任意尺度图像超分辨率方法之一：局部隐式图像函数（LIIF），提出了 IPE-LIIF。我们通过定量和定性评估展示了 IPE-LIIF 的有效性，进一步证明了 IPE 对更大的图像尺度和多个隐式方法的泛化能力。

    Dec, 2021

  • 基于模型无关方法的隐式神经表示任意尺度图像超分辨率

    单张图像超分辨率（SISR）使用深度卷积网络取得了显著的进展，但传统网络只能将图像放大到固定比例，因此利用隐式神经函数生成任意比例的图像；本文介绍了一种新颖高效的框架 —— 混合专家隐式超分辨率（MoEISR），它在显著提高计算效率的同时，能够以任意比例进行超分辨率重建，而不损失重建质量；MoEISR 利用轻量级映射器模块动态分配最适合的解码专家给每个像素，使具有不同容量的专家能够重建复杂度各异的区域像素；实验证明，MoEISR 能够在缩减高达 73% 的浮点运算（FLOPs）的同时，提供相当或更优的峰值信噪比（PSNR）。

    Nov, 2023