May, 2023

生成型人工智能遇上 3D：AIGC 时代的文本到 3D 调查

PDF
TL;DR本研究主要介绍了生成人工智能中的文本导向内容生成，着重探讨其中的文本导向三维技术，提供了一份关于该领域的综合调查报告。该报告介绍了三维数据表示、相关技术及其在不同应用方面的应用，包括头像生成、纹理生成、形状变换和场景生成，以及使用 NeRF 等文本到图像与三维建模技术的新兴方向的最新进展。
generative aitext-to-3dcontent generationnerfavatar generation
发现论文，激发创造
  • 一份关于 3D 内容生成的全面调查

    人工智能在生成内容领域取得了显著进展，其中 3D 内容生成作为视觉模态之一，面临巨大的知识和技术挑战。本研究回顾了 3D 内容生成技术的发展，并提出了一个新的分类法，详细介绍了三种不同类型的方法。同时，讨论了当前技术的局限性以及未来工作的挑战和方向。

    Feb, 2024

  • 文本到 3D 形状生成

    近年来，文本到三维形状生成领域经历了大量的工作和兴趣。这篇综述报告了驱动文本到三维形状生成的底层技术和方法，并对需要的监督数据类型进行了系统分类。最后，讨论了现有方法的局限性，并勾画了未来工作的有希望的方向。

    Mar, 2024

  • 野外文本生成三维内容调查

    文献调查了最新的文本生成三维内容的方法，并详细介绍了该领域的背景、数据集、评估指标以及不同的三维表示方法。通过对生成流程的分类和优劣势的分析，为进一步探索基于文本的三维内容创建提供了启示，并指出了未来研究的几个有希望的方向。

    May, 2024

  • 3D 生成智能的进展与前景：技术概述，包括 3D 人体

    综述了 2023 年下半年发表的相关论文，主要包括 AI 生成的三维对象模型、三维人体模型和三维人体动作生成，并对未来进行了展望。

    Jan, 2024

  • 高保真文本引导的 3D 人脸生成与操作仅通过图像

    通过引入文本条件，该论文提出了一种名为 TG-3DFace 的文本引导的 3D 人脸生成方法，利用全局对比学习和细粒度对齐模块两种跨模态对齐技术，实现了更逼真和语义一致的纹理生成。

    Aug, 2023

  • Guide3D：根据文本和图像指导创建 3D 化身

    通过结合文字和图像信息，利用扩散模型，我们开发了一种零样本的三维生成模型，能够合成高分辨率纹理网格，实现了将二维图像直接转化为三维空间的功能。

    Aug, 2023

  • GET3D: 从图像中学习高质量 3D 纹理形状的生成模型

    GET3D 是一种 3D 生成模型，能够直接生成具有复杂拓扑结构、丰富几何细节和高保真纹理的显式纹理 3D 网格，从而显著改进了以往的方法。

    Sep, 2022

  • 人工智能生成内容的综合调查（AIGC）：从 GAN 到 ChatGPT 的生成式人工智能历史

    该研究综述了生成模型的历史和基本组成部分，并从单模态和多模态交互的角度介绍了文本和图像生成任务及相关模型，讨论了人工智能生成内容领域中的开放性问题和未来挑战。

    Mar, 2023

  • Control3D：面向可控的文本到 3D 生成

    大规模文本到图像扩散模型的最新进展在文本到三维生成领域取得了重大突破，仅通过给定的文本提示从零开始创作三维内容。然而，现有的文本到三维技术在创作过程中缺乏一项关键能力：根据用户的需求规范（如草图）对合成的三维内容进行交互式控制和塑造。为了解决这个问题，我们首次尝试在条件上添加手绘草图的文本到三维生成，即 Control3D，以增强用户的可控性。具体而言，我们通过改进的 2D 条件扩散模型（ControlNet）来引导作为 NeRF 参数化的三维场景的学习，以使每个三维场景视角与给定的文本提示和手绘草图对齐。此外，我们利用预训练的可微分照片到草图模型直接估计合成三维场景上渲染图像的草图。此类估计的草图以及每个采样视角进一步被强制与给定的草图在几何上保持一致，从而实现了更好的可控文本到三维生成。通过广泛的实验证明，我们的提议可以生成与输入的文本提示和草图紧密对齐的准确忠实的三维场景。

    Nov, 2023

  • 多数据模态的人工智能通用计算：综述

    AI 生成内容（AIGC）方法旨在使用 AI 算法产生文本、图像、视频、3D 资产和其他媒体。本文综述了跨不同数据模态的 AIGC 方法，包括单模态和多模态，重点介绍了各种挑战、代表性研究以及最近的技术方向，并在各种模态中提供了对多个基准数据集的比较结果。此外，本文还讨论了挑战和未来研究方向。

    Aug, 2023