学习如何为多视角神经图像合成修剪像素
本文提出了一种简单的最近邻方法,可以从 “不完整” 的信号(如低分辨率图像、表面法线图或边缘)中合成高频逼真的图像。通过将卷积神经网络和最邻近法相结合,可以解决模式崩溃问题和输出可控性。
Aug, 2017
利用轻量级 ConvNets,通过简单的权重重新计算策略来标定图像中的关键区域,从而实现对冗余补丁的显著剪枝并提高判别补丁的定位性能。通过该方法,可以在不再训练的情况下,对多种深度学习架构,包括 ConvNets 和 ViTs 等进行高效的冗余补丁减少,并取得了更高的准确性与更大的计算量减少。
Mar, 2024
本文提出了一种新颖的深度神经网络架构,其可直接从像素级数据对图像进行新视图综合,并通过端到端的训练实现。与传统的多阶段处理方法不同,该系统具有广泛适用性和高质量的结果,是深度学习应用于真实自然图像综合的首例研究。
Jun, 2015
本文提出了一种名为 PixelFolder 的渐进式像素合成网络,通过引入多阶段结构和新颖的像素折叠操作,以解决现有像素合成方法存在的内存占用和计算开销问题。实验结果表明,与最新的像素合成方法 CIPS 相比,PixelFolder 在 FFHQ 和 LSUN Church 数据集上达到了新的最优表现。
Apr, 2022
通过将视图合成过程分为像素重新着色和重定位的两个独立任务,我们提出使用神经网络进行重新着色,并生成一组大规模的合成输入 - 重新着色对来训练我们的网络,从而在多种实际场景中产生具有真实移动亮点的合理的新视图图像。
Sep, 2023
UltraPixel 是一种新型架构,利用级联扩散模型在单一模型中生成高质量的多个分辨率(例如 1K 到 6K)的图像,同时保持计算效率。UltraPixel 利用低分辨率图像的语义丰富表示在后期去噪阶段引导高分辨率图像的整体生成,大大降低了复杂性。此外,我们引入了连续上采样和尺度感知归一化层的隐式神经表示,适用于不同的分辨率。值得注意的是,低分辨率和高分辨率处理都在最紧凑的空间中进行,与高分辨率输出相比,共享了大多数参数,只增加了不到 3%的额外参数,大大提高了训练和推断效率。我们的模型通过减少数据需求实现了快速训练,生成了照片级真实感的高分辨率图像,并在广泛的实验中展现出了卓越的性能。
Jul, 2024
通过硬件感知延迟剪枝(HALP)将结构剪枝作为全局资源分配优化问题,同时控制延迟在预定义的预算下最大化准确性。 HALP 使用延迟查找表来跟踪延迟减少潜力,使用全局显着性得分来评估准确度降低,并可以在剪枝期间非常高效地评估这两个指标,使我们能够在目标约束下重构全局结构剪枝问题,从而通过我们的增强型背包求解器解决问题,从而使 HALP 在剪枝效果和准确性效率平衡方面超越以前的工作。
Oct, 2021
我们提出了一种新的方法 LoLep,通过从单个 RGB 图像回归学习本地平面,准确地表示场景,从而生成更好的新视图。该方法将深度信息从中剔除,且在无深度信息的情况下回归合适的平面位置是一个具有挑战性的问题。为了解决这个问题,我们将视差空间预划分为不同的区间,并设计了一个视差采样器用于在每个区间中回归多个平面的局部偏移量。然而,仅使用这样的采样器会导致网络无法收敛;因此我们进一步提出了两种优化策略,将其与不同数据集的视差分布相结合,并提出了一种考虑遮挡的再投影损失作为一种简单有效的几何监督技术。我们还引入了一种自注意机制以改善遮挡推断,并提出了一个块采样自注意力模块(BS-SA)来解决将自注意力应用于大型特征图的问题。我们证明了我们的方法的有效性,并在不同数据集上生成了最先进的结果。与 MINE 相比,我们的方法在 LPIPS 方面有 4.8%-9.0% 的减少和 83.1%-84.7% 的 RV 减少。我们还评估了在现实世界图像上的性能,并展示了其优势。
Jul, 2023
该论文提出了一个像素递归超分辨率模型,可综合提高图像的分辨率并增强其真实感;该模型能够表示多模态条件分布,使用 PixelCNN 结构定义自然图像的先验知识并联合优化条件卷积网络,保持了照片的真实感。
Feb, 2017
本文提出了两种新的神经网络稀疏化方法:针对高级视觉特征进行剪枝的 DOP 方法和 Super Stitching 方法。通过大量实验发现,One-shot Network Pruning 需要数据的支持,并且 Super Stitching 在高度压缩的模型上具有显著的优势。
Sep, 2022