CVPRApr, 2023

野外学习生成隐式神经资产

PDF
TL;DR本文介绍了一种基于真实驾驶数据的生成模型 GINA-3D，其使用相机和 LiDAR 传感器捕获数据，通过学习三平面潜在结构的方法处理姿态与视差，从而创建具有多样性的车辆和行人 3D 模型，并在大规模的样本测试中表现出高质量和多样性。
3d modelinggenerative modelingautonomous drivinglidar sensorsreal-world driving data
发现论文，激发创造
  • 自动驾驶中基于 GAN 的 LiDAR 传感器建模和数据增强

    通过 CycleGANs 从未配对的数据中进行图像转换，以实现从模拟 LiDAR 到真实 LiDAR（sim2real）的传感器建模，从低分辨率到高分辨率的真实 LiDAR（real2real）的生成以及使用鸟瞰图和极坐标 2D 表示法处理 LiDAR 3D 点云。实验结果表明，该方法具有很高的潜力。

    May, 2019

  • 基于 GAN 的激光雷达强度模拟

    开发自动驾驶中，真实车辆传感器模拟是重要的因素。我们提出利用基于数据的方法，使用来自实际测试驾驶的相机图像和 LiDAR 扫描数据训练生成对抗网络，实现相互翻译。通过添加分割数据和密集深度图像的相机图像，以及通过测试真实与合成点云之间物体检测网络的泛化效果评估 LiDAR 模拟性能，我们结合这两种方法，模拟并展示了真实的 LiDAR 点云。

    Nov, 2023

  • ImageNet 的 3D 生成

    本文提出了一种基于 3D GAN 的 3D 生成器，采用了不同于以往的数据假设、深度框架和相机模型，在多样化数据集（如 ImageNet）上取得了优于现有技术的纹理和几何质量的结果。

    Mar, 2023

  • 基于 ImageNet 中的野外图像的几何感知 3D 生成

    从多样且非结构化的 Imagenet 数据集中，我们提出了一种从二维图像中重建三维几何模型的方法，使用高效的三平面表示法学习三维模型，并基于 StyleGAN2 的生成器架构对高度多样化的数据集进行调整，通过多视点辨别防止模式崩溃并提升训练稳定性。

    Jan, 2024

  • 3DGEN：一种基于 GAN 的从图像数据生成新的 3D 模型的方法

    我们提出了 3DGEN 模型，它利用最近在物体重建和基于 GAN 的图像生成方面的工作，可以为训练图像的同一类别对象生成可信的三维网格，并将生成的网格与当前最先进的基准模型进行比较，取得了可见的生成质量改进。

    Dec, 2023

  • GAIA-1: 自动驾驶的生成式世界模型

    GAIA-1 ('Generative AI for Autonomy') 是一个生成性世界模型，利用视频、文本和动作输入生成逼真的驾驶场景，同时提供对自我车辆行为和场景特征的细粒度控制，通过将输入映射为离散标记并预测序列中的下一个标记来解决了在自动驾驶过程中有效预测可能出现的各种结果的挑战。该模型通过捕捉未来事件的预期和生成逼真样本的能力，提供了在自动驾驶技术领域创新的新可能性，实现了自动驾驶技术的增强和加速训练。

    Sep, 2023

  • 几何图像合成

    本研究提出了一种可训练的、基于几何感知的图像生成方法，利用几何和分割等场景信息生成逼真自然、符合期望的场景结构的图像，并通过 GIS 框架插入驾驶场景中的车辆、生成来自 Linemod 数据集的物体新视角，展示其能够广泛适用于新颖的场景、物体形状和分割，且可用于合成大量训练数据以训练实例分割模型。

    Sep, 2018

  • 从无约束图像集合中学习 GET3D--

    GET3D-- 是第一个通过未知姿态和尺度的 2D 图像直接生成贴图的 3D 形状的方法，它能够精确适应 6D 相机姿态分布，并在合成和真实无约束数据集上生成高质量的形状。

    Jul, 2023

  • GET3D: 从图像中学习高质量 3D 纹理形状的生成模型

    GET3D 是一种 3D 生成模型，能够直接生成具有复杂拓扑结构、丰富几何细节和高保真纹理的显式纹理 3D 网格，从而显著改进了以往的方法。

    Sep, 2022

  • ParGANDA: 实现物体检测中合成行人的现实

    使用生成对抗网络 (GAN) 以解决真实与合成数据之间的领域差异，提高物体检测的性能，尤其针对行人检测，在不需要真实标签的情况下生成真实样本，适用于各种下游任务。

    Jul, 2023