Jan, 2024

局部自适应神经网络三维形态模型

PDF
TL;DR我们提出了本地自适应可塑模型（LAMM），这是一个高度灵活的自编码器（AE）框架，用于学习生成和操纵 3D 网格。我们的模型通过自监督训练方案，使用输入的位移来覆盖编码的几何形状，以实现从一个训练样本转换到另一个样本。在推断过程中，我们的模型产生符合指定稀疏几何形状的密集输出，并保持编码对象的整体外观。该方法在解缠操纵几何形状和 3D 网格重建方面表现出最先进的性能。据我们所知，LAMM 是第一个能够在单次前向传递中直接局部控制 3D 顶点几何形状的端到端框架。非常高效的计算图使得我们的网络只需前一方法所需内存的一小部分进行训练，并在推断过程中加快速度，在单个 CPU 线程上以每秒超过 60 帧的速度生成 12k 顶点网格。我们进一步将局部几何控制作为更高级编辑操作的基础，并提供了一组衍生功能，例如部件交换和采样。代码和预训练模型可在此 https URL 找到。
locally adaptive morphable modelauto-encoder3d meshesself-supervised traininggeometry control
发现论文，激发创造
  • 无监督学习使用深度非刚性运动结构的全解缕的三维可塑模型的抬升自编码器

    介绍了一种新的 3D 表面基础的物体类别生成模型 - Lifting Autoencoders，该模型结合了非刚性结构运动、图像形成和形态模型等的思想，能完全无监督地从非结构化的图像集中学习可控、几何的 3D 类别生成模型，并使用可微渲染器生成 RGB 图像和对抗性训练的细化网络实现清晰逼真的图像重建结果。其生成模型可以通过可识别的几何和外观因素进行控制，从而进行身份、表达、3D 姿势和光照属性的逼真图像操作。

    Apr, 2019

  • 变分自编码器用于形变三维网格模型

    本文介绍了一种基于神经网络和自动编码器的新型框架 —— 网格变分自编码器来研究分析具有形变的 3D 网格，通过在概率潜空间中探索 3D 表面，既可以代表 3D 动画序列，也可以代表同一类别的对象集合，具有大规模非线性形变的多样形状，广泛的实验表明我们的方法可以实现不同的形状性能，如形状生成、形状内插，形状空间嵌入和形状探索，取得了超越最先进方法的结果。

    Sep, 2017

  • 基于网格的自编码器用于局部变形分量分析

    本文提出了一种基于网格自编码器的架构，利用稀疏正则化与卷积运算在处理嘈杂数据和大规模形变的网格时提取局部形变成分，此框架提供了一种以非线性的方式进行基础网格重建的方法，实验表明该方法优于目前的线性组合方法

    Sep, 2017

  • 学习可局部编辑虚拟人

    本文提出一种新的混合表征和端到端可训练的网络体系结构，以建模完全可编辑和可定制的神经化身，并设计实现一种特征码本以存储可变形体模型的本地几何和纹理特征。该模型具有 3D 一致性，并利用神经场的模建模力量。此外，该方法还可在三维资产之间交换本地特征以实现局部编辑。通过贡献一个新的高质量数据集，该方法生成了多样化的详细化身，并比现有方法获得更好的模型拟合性能。

    Apr, 2023

  • LBS 自编码器：自监督拟合关节网格至点云

    本研究使用自监督自编码算法通过利用 LBS 变形空间参数化骨骼分层结构来实现点云序列的自动化配准，并使用 Part - 分割的结构化 Chamfer 距离来解决点对点对应关系错误对模型配准的影响，实验结果表明，该方法在体注册等方面的绩效不输于监督学习方法。

    Apr, 2019

  • 自动解码潜在的三维扩散模型

    本文提出了一种新颖的生成静态和关节 3D 资产的方法，其中核心是一个 3D 自解码器框架，将目标数据集中学习到的属性嵌入潜在空间，然后通过解码来渲染具有一致性的外观和几何体积表示；在不需要摄像头信息的情况下，通过学习来进行更加高效的训练，实现了在各种基准数据集和指标上超越同类别替代方法的影响力。

    Jul, 2023

  • 3D Morphable Models 作为空间变换网络

    本文介绍了一种新的卷积神经网络模型，将 3D 变形模型嵌入网络中，使得该网络可以处理输入数据的 3D 空间变换，并且可以对 3D 姿态的变化和遮挡进行识别和规范化，通过该方法可以对高度不规则的图像进行处理。

    Aug, 2017

  • WildFusion：学习视角空间中的三维感知潜空扩散模型

    基于视图空间和潜在扩散模型的 3D 感知图像合成方法，通过压缩潜在表示学习图像的 3D 结构，实现高质量的 3D-consistent 图像合成，无需多视角或 3D 几何的直接监督，不依赖于规范化的相机坐标。

    Nov, 2023

  • 利用深度分层变分自编码器的数据驱动的非线性参数模型降阶框架

    提出了使用深度人工神经网络的数据驱动参数模型降阶（MOR）方法，其中采用最小二乘分层变分自动编码器（LSH-VAE），可以进行非线性 MOR，对具有大量自由度的非线性动态系统进行了参数插值，其结果表明相比传统的非线性 MOR 方法、自动编码器和变分自动编码器，LSH-VAE 具有更高的准确性和稳定性，并在三个非线性多物理动力学系统上进行了验证和评估。

    Jul, 2023

  • LAMBO：大型语言模型增强边缘智能

    利用大型语言模型（LLM）和移动边缘计算（MEC），我们提出了一种基于 LLM 的离线框架（LAMBO）来解决传统深度离线架构面临的问题，通过四个组成部分实现了高性能决策制定、预训练和在动态环境变化下微调解码器。模拟结果证实了 LAMBO 框架的优势。

    Aug, 2023