Oct, 2023

通过在 NeRF 中进行空间变形，保护隐私信息

PDF
TL;DR本研究通过一个创新的攻击方法，引入了一个保护用户隐私免受神经辐射场（NeRF）模型生成能力影响的方法。我们的方法通过对被观察视图进行几乎不可察觉的改动，从而扰乱了 NeRF 对 3D 场景的准确重构能力。我们使用一个双层优化算法，结合了基于投影梯度下降（PGD）的空间变形方法。在两个常见的 NeRF 基准数据集上广泛测试了我们的方法，这些数据集包含 29 个高质量图像的真实场景。实验结果明显表明，我们的隐私保护方法明显地影响了 NeRF 在这些基准数据集上的性能。此外，我们还展示了我们的方法的适应性和多功能性，适用于各种扰动强度和 NeRF 架构。本研究对于了解 NeRF 的漏洞并在开发强大的 3D 场景重构算法时考虑到潜在的隐私风险提供了有价值的见解。我们的研究对于探讨负责任人工智能和生成式机器学习，并旨在保护用户隐私和尊重数字时代的创造性所有权具有重要意义。
发现论文，激发创造
  • 面向可推广神经辐射场的有针对性对抗攻击

    Neural Radiance Fields（NeRFs）能够用稀疏的 2D 观测数据学习合成高质量图像，实现逼真的互动场景重建。然而，本文展示了使用低强度的对抗攻击和对抗补丁对具有通用性的 NeRFs 进行攻击，并演示了生成特定预定义输出场景的有针对性攻击。

    Oct, 2023

  • 身份模糊化的神经辐射场：保护隐私的 3D 人脸重建

    提出了在 NeRF 框架内利用隐私保护图像重建三维头部几何的方法，从而解决了使用敏感面部数据图像的传统面部重建技术对隐私的依赖问题，通过一系列身份模糊化的输入有效地生成逼真的面部几何保护个人隐私。

    Dec, 2023

  • Adv3D：使用 NeRF 在驾驶场景中生成 3D 对抗样本

    经过对 3D 物体检测的 DNN 系统进行研究，我们提出了 Adv3D，这是首次将对抗样本建模为神经辐射场（NeRF）的探索。我们训练了具有真实外观和 3D 准确生成能力的对抗性 NeRF，通过最小化训练集中 3D 检测器预测的周围物体置信度来训练。我们还提出了基于原始感知采样和语义引导正则化的方法，以生成适应于 3D 环境中的伪装对抗纹理的 3D 补丁攻击。实验结果表明，所训练的对抗性 NeRF 对不同姿势、场景和 3D 检测器具有很好的泛化性能。最后，我们提供了一种通过数据增强进行对抗性训练的防御方法。

    Sep, 2023

  • GANeRF: 利用判别器优化神经辐射场

    采用生成对抗网络对神经辐射场（NeRF）进行优化，修复 3D 场景重建中存在的照明、采样等问题，从而实现更高质量的渲染。

    Jun, 2023

  • 揭示对抗扰动对可推广的神经辐射场的漏洞：NeRFool

    本研究提出 NeRFool 以深入了解 GNeRF 的对抗鲁棒性，并进一步开发出两种攻击方法和防御指南，从而为开发具有鲁棒性的实际应用奠定了基础。

    Jun, 2023

  • 使用扩散模型的伪观测增强 NeRF 重建

    本文提出了一种名为 Deceptive-NeRF 的新方法，通过使用合成生成的伪观测数据提高重建 NeRF 模型的质量，能够处理稀疏输入并消除浮动伪影，并通过使用伪观测数据改善 NeRF 模型的质量。

    May, 2023

  • 基于几何指导的渐进式通用高效神经人体渲染

    本研究提出了一种基于神经辐射场的高保真度自由视点下人体合成的通用且高效的管道，其中利用几何引导的多视点特征整合方法和渐进式渲染管道通过提供完整的几何体积和预测的密度值来显著提高多个泛化设置下的综合性能和渲染效率。

    Dec, 2021

  • Noise-NeRF：使用可训练噪声在神经辐射场中隐藏信息

    本文提出了一种基于可训练噪声的新型 NeRF 隐写术方法 ——Noise-NeRF，并且采用自适应像素选择策略和像素扰动策略来提高隐写术质量和效率。在开源数据集上的广泛实验表明 Noise-NeRF 在隐写术质量、渲染质量和超分辨率图像隐写术方面都达到了最先进的性能。

    Jan, 2024

  • 从多视角几何学中学习神经辐射场

    MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化，以提高所估计表面的质量。实验结果表明，该方法可以从图像中获取干净的三维网格，同时在新视角合成方面具有竞争力的表现。

    Oct, 2022

  • NeRF++：分析和改进神经辐射场

    通过 NeRF 的方法来实现对于图像的 View Synthesis, 本文提到了 NeRF 的成功之处以及在应用于大规模无界三维场景中进行改进，使其在 360° 的拍摄模式下提高拍摄质量。

    Oct, 2020