Oct, 2023

通过像素级梯度剪裁提升高分辨率三维生成

PDF
TL;DR通过像素级梯度剪裁（PGC）方法，提高现有高分辨率三维生成模型的性能，以改进高分辨率三维物体渲染的综合质量。
high-resolution 3d object generationannotated training dataimage generative modelslatent diffusion model (ldm)pixel-wise gradient clipping (pgc)
发现论文，激发创造
  • Pixel-GS: 使用像素感知梯度进行 3D 高斯喷洒的密度控制

    提出了一种名为 Pixel-GS 的新方法，通过考虑每个视图中高斯函数覆盖的像素数量来计算增长条件，从而促进大型高斯函数的增长，实现了更精确、更详细的重构，同时保持实时渲染速度和最新的渲染质量。

    Mar, 2024

  • VividDreamer：朝向高保真高效的文本到 3D 生成

    提出了一种基于姿态相关性蒸馏采样（PCDS）的扩散式三维生成任务的新目标，其通过最小采样步骤（1-3）建立了在扩散轨迹内的姿态相关性函数，以近似真实梯度，并通过粗到细的优化策略实现高质量的三维物体生成。

    Jun, 2024

  • 基于对抗蒸馏的计算机辅助设计：逼真三维生成

    利用预训练扩散模型的一种新型学习方法，直接在对抗性的方式下对多视图渲染与扩散先验之间的分布差异进行建模，从而实现了高保真度和逼真度的三维内容生成，条件为单张图像和提示。通过利用生成对抗网络（GANs）的潜在空间和表达力丰富的扩散模型先验，我们的方法促进了各种三维应用，包括单视图重建、高多样性生成和开放域中的连续三维插值。实验结果表明，与以往的工作相比，我们的流程在生成质量和多样性方面表现出更强的优势。

    Dec, 2023

  • 基于单个 CLIP 嵌入的图像到 3D 生成技术

    通过使用 Score Distillation Sampling (SDS) 和 Isotropic3D 技术，本研究提出了一种仅使用图像的 CLIP 嵌入作为输入的图像到三维生成方法，可以生成具有更加对称、整洁、几何形态良好、色彩丰富且较少失真的多视点一致图像和三维模型，同时尽可能保持与参考图像的相似性。

    Mar, 2024

  • GP-GAN：实现逼真高分辨率图像融合

    本文提出了一种高分辨率图像融合的解决方案 ——Gaussian-Poisson 生成对抗网络（GP-GAN），旨在优化传统梯度方法和生成对抗网络的优势，采用高斯泊松方程来表征高分辨率图像融合问题，并提出了一个混合 GAN，学习了复合图像与良好混合图像之间的映射。实验证明该方法获得了最高性能。

    Mar, 2017

  • 学习梯度场用于形状生成

    本文提出一种新颖的技术，通过随机梯度上升在未标准化概率密度上移动样本点来生成点云，使其达到类似真实高密度区域的效果，并通过该方法达到点云自编码和生成的最新成果，同时允许提取高质量的隐式表面。

    Aug, 2020

  • YOLOv9：使用可编程梯度信息学习您想要学习的内容

    当前的深度学习方法主要关注如何设计最合适的目标函数，以使得模型的预测结果最接近真实情况，同时需要设计一种适当的架构来获取足够的信息进行预测。然而现有的方法忽视了一个事实，即当输入数据经历逐层特征提取和空间变换时，会丢失大量的信息。本文主要研究数据在通过深度网络传输时的信息损失问题，即信息瓶颈和可逆函数。我们提出了可编程梯度信息（PGI）的概念，以应对深度网络需求多样的变化来实现多个目标。PGI 能够为目标任务提供完整的输入信息来计算目标函数，从而获取可靠的梯度信息来更新网络权重。此外，我们设计了一种新的轻量级网络架构 —— 广义高效层聚合网络（GELAN），基于梯度路径规划。GELAN 的架构证明了在轻量级模型上 PGI 取得了更好的结果。我们在基于 MS COCO 数据集的目标检测任务上验证了 GELAN 和 PGI，结果显示 GELAN 只使用传统的卷积算子就能比基于深度可分离卷积的最新方法实现更好的参数利用率。PGI 可用于各种模型，从轻量级到大型模型。它可以获取完整信息，从而使得从头开始训练的模型比使用大型数据集预训练的最新模型获得更好的结果，对比结果详见图 1。源代码位于：[指定的 URL]

    Feb, 2024

  • 私有 SGD 中的梯度裁剪：几何角度的理解

    本文研究深度学习中涉及到隐私保护的问题，探讨了梯度裁剪在保证隐私的前提下防止 SGD 算法陷入局部极小值的作用，并提出了一种基于扰动的新技术用于解决梯度分布不对称问题。

    Jun, 2020

  • PCDP-SGD: 通过预先投影提高差分隐私 SGD 的收敛性

    在本文中，我们提出了一个通用的框架 PCDP-SGD，通过在梯度剪裁之前进行投影操作，旨在压缩冗余的梯度范数并保留更关键的顶部梯度分量。此外，我们将 PCDP-SGD 扩展为差分隐私联邦学习（DPFL）的基本组成部分，用于减轻数据异构挑战并实现高效通信。实验结果表明，在计算机视觉任务中，PCDP-SGD 相对于最先进的 DP-SGD 变体实现了更高的准确性。此外，当在本地训练集上保证差分隐私时，PCDP-SGD 优于当前的联邦学习框架。

    Dec, 2023

  • RL 梦想：基于得分传递的三维生成的策略梯度优化

    3D 生成在过去十年中迅速发展，得益于生成建模领域的进步。得分蒸馏采样（SDS）渲染大大提高了 3D 资源生成的水平。此外，最近的溯源扩散策略优化（DDPO）工作表明扩散过程与策略梯度方法兼容，并已通过美学评分函数改进了 2D 扩散模型。我们首先展示了这个美学评分器在各种基于 SDS 的方法中作为强有力的指导，并展示了它在文本到 3D 合成中的有效性。此外，我们利用 DDPO 方法改进了从 2D 扩散模型获得的 3D 渲染质量。我们的方法 DDPO3D 采用了策略梯度方法和美学评分。据我们所知，这是第一种将策略梯度方法扩展到基于得分的 3D 渲染的方法，并显示了对 SDS-based 方法（如 DreamGaussian）的改进。我们的方法与基于得分蒸馏的方法兼容，可以将各种奖励函数融入生成过程中。您可以通过此网址访问我们的项目页面 https URL。

    Dec, 2023