Jun, 2024

隐式动物园：用于 2D 图像和 3D 场景的大规模神经隐式函数数据集

PDF
TL;DR神经隐式函数在计算机视觉、图形等多个领域具有重要意义，但缺乏全面数据集和大量计算资源限制了其发展和分析。为了解决这些挑战，我们引入了 “隐式动物园”：一个需要数千个 GPU 训练天数的大规模数据集，旨在推动该领域的研究和开发。通过使用 Implicit-Zoo，我们展示了两个直接好处：(1) 学习变压器模型的令牌位置；(2) 直接回归 2D 图像相对于 NeRF 模型的 3D 相机姿势。这进而提高了图像分类、语义分割和 3D 姿势回归三个任务的性能，为研究开辟了新的途径。
neural implicit functionsimplicit functionscomprehensive datasetsgpu trainingtransformer models
发现论文，激发创造
  • 三维形状重建和完成的特征空间中的隐式函数

    本文提出了一种名为 IF-Nets 的新模型来解决从不同类型的三维输入中恢复和补全三维物体的问题，IF-Nets 可提取深度特征，保留输入数据中存在的细节，并可以重建活动的人体模型。实验证明 IF-Nets 在 ShapeNet 中的三维物体重建和人体重建方面明显优于以往的工作。

    Mar, 2020

  • 使用隐式表示从单张图像中全面理解三维场景

    本文提出了一种基于单幅图像的全面三维场景理解的新管道，该管道可以预测物体形状、物体姿态和场景布局，利用最新的深度隐式表示方法解决了物体形状和布局的不精确估计的问题，通过物理违规损失函数避免了物体之间的错误场景。实验结果表明，该方法在物体形状、场景布局估计和三维物体检测方面优于现有最先进技术。

    Mar, 2021

  • 三维等变图形隐式函数

    本文提出了一种新型的图形隐式函数族，其具有等变层，可用于捕捉 3D 几何细节并保证对各种几何变换的鲁棒性，该方法在 ShapeNet 重建任务上比现有的旋转等变隐式函数从 0.69 提高到 0.89 (IoU)，并且可以推广到其他类型的相似变换，并且具有良好的泛化能力。

    Mar, 2022

  • ImageNet 的 3D 生成

    本文提出了一种基于 3D GAN 的 3D 生成器，采用了不同于以往的数据假设、深度框架和相机模型，在多样化数据集（如 ImageNet）上取得了优于现有技术的纹理和几何质量的结果。

    Mar, 2023

  • ImageNet3D：面向通用对象级别 3D 理解

    通过与 ImageNet 数据集相结合，ImageNet3D 数据集提供了 200 个类别的 2D 和 3D 信息，从而为构建具有更强的通用性目标级三维理解的视觉模型提供了潜力。

    Jun, 2024

  • 基于 ImageNet 中的野外图像的几何感知 3D 生成

    从多样且非结构化的 Imagenet 数据集中，我们提出了一种从二维图像中重建三维几何模型的方法，使用高效的三平面表示法学习三维模型，并基于 StyleGAN2 的生成器架构对高度多样化的数据集进行调整，通过多视点辨别防止模式崩溃并提升训练稳定性。

    Jan, 2024

  • 无需三维监督学习推断隐式曲面

    本研究提出了一种基于射线场探测技术的隐式表面的学习方法，以及一种泛函约束方法，用于无需三维监督的三维形状推断。实验表明，在单视角基础上，使用我们的方法从图像中重建三维模型，无论是定量还是定性上都优于现有技术。

    Nov, 2019

  • 野外三维车辆重建的神经隐式建模修复

    本文提出了一种基于神经隐式模型的 3D 物体重建方法，通过深度编码器作为初始形状潜码的鲁棒优化器，利用规则化测试时间优化潜码，深度鉴别器作为高维形状先验，并使用新颖的课程学习策略，从而更好地捕捉全局细节，在模糊的基准数据集上表现出色，展示了在真实世界数据上超越现有技术的优越性。

    Jan, 2021

  • 对象组合神经隐式表面

    该论文提出了一种新的框架 ObjectSDF 来构建具有高保真度的对象组合神经隐式表示，它结合了各个对象的有符号距离函数（SDF），并将语义信息转换为对象 SDF 的函数，以及开发了统一且紧凑的场景和对象表示。实验结果表明该框架在表示整体物体组合场景和单个实例方面具有卓越的优势。

    Jul, 2022

  • 2D GANs 遇见无监督单视角 3D 重建

    提出了一种新的基于图像的神经隐式场方法，该方法利用基于 GAN 生成的多视图图像的 2D 监督，并通过不确定性模块来提高重构性能，从而实现了泛化物体的单视角 3D 重构。

    Jul, 2022