Jun, 2023

渲染器是优秀的零样本表示学习器：探索扩散潜变量用于度量学习

PDF
TL;DR本研究评估了现代生成式神经渲染模型的潜在空间是否可以作为具有三维感知的区分性视觉理解任务的表示，并使用检索作为度量学习属性的代理，发现 Shap-E 表示在零样本情况下优于经典 EfficientNet 基线表示，并且在使用对比损失训练两种方法时仍然具有竞争力。
generative neural rendering modelslatent spacesvisual understanding tasksmetric learning propertiesshap-e
发现论文，激发创造
  • 可解释多目标跟踪的反向神经渲染

    通过在预训练的 3D 对象表示的潜在空间上优化可微分的渲染管道，我们提出将 RGB 摄像机中的 3D 多目标跟踪重新构建为逆渲染问题，通过优化图像损失在生成的潜空间上进行，其固有地解藕形状和外观属性。我们验证了我们方法的泛化和扩展能力，通过仅从合成数据学习生成先验，并在 nuScenes 和 Waymo 数据集上评估基于摄像机的 3D 跟踪。

    Apr, 2024

  • 生成式潜在形状模型的几何分离

    本文提出了一种无监督的方法来将三维点云的变分自编码器的潜空间进行划分，结果展现出直观可解释的行为，在姿态转换和姿态感知形状检索等任务上表现出色，为人工智能中 3D 形状表示问题提供重要思路。

    Aug, 2019

  • 等变神经渲染

    该论文提出了一种从图像中直接学习神经场景表示的框架，通过引入一种强制要求该场景表示对于 3D 变换等变的损失函数，使得我们可以实时推断和渲染场景，并在标准 ShapeNet 基准测试上获得了很好的结果。

    Jun, 2020

  • 零样本识别的潜在特征判别学习

    该研究提出了一种能够自动发现显著区域及在增强的空间中学习辨别性语义表征的端到端网络，用于零样本学习中。在两个具有挑战性的零样本学习数据集上测试，实验结果显示该方法明显优于现有最先进的方法。

    Mar, 2018

  • 潜在表示的重要性：一次性绘画任务中的人类般素描

    通过研究不同归纳偏差对潜在扩散模型 (Latent Diffusion Models, LDMs) 的潜在空间的影响，我们发现具有减少冗余和基于原型的正则化的 LDM 几乎能够产生接近于人类的图画，使其在样本的可识别性和原创性方面更好地模拟了人类感知（根据心理物理评估），这表明人类与机器在一次性绘图方面的差距几乎已经拉近。

    Jun, 2024

  • 相对表示使零样本隐空间通信成为可能

    本文主要研究利用神经网络将数据流形的几何结构嵌入到潜在表征中，提出了根据潜在表示中样本与预设锚点之间的相对关系来实现所需不变性的方法，并在不同数据集、不同架构、不同任务下进行了验证。

    Sep, 2022

  • 基于可微分渲染的图像 GAN 逆向图形学和可解释的 3D 神经渲染

    本文利用可微分渲染器提取并分离生成模型中的 3D 知识，将生成对抗网络作为多视图数据生成器，使用现成的可微分渲染器训练逆向图形网络，并将训练好的逆向图形网络作为教师，将 GAN 的潜在向量分离为可解释的 3D 属性。我们的方法在现有数据集上对最先进的逆向图形网络进行定量和用户研究，并显示分离的 GAN 作为可控的 3D “神经渲染器”，补充传统的图形渲染器。

    Oct, 2020

  • 学习 3D 点云的表示和生成模型

    该论文探讨了点云作为表示几何数据的方法，利用深度自编码器网络来提高 3D 识别及形状编辑的表现，并对不同的生成模型进行了研究，发现在 AE 的潜在空间中训练的高斯混合模型具有最佳的生成效果。

    Jul, 2017

  • 3D 点云的生成模型

    本研究的目的是通过实验转换编码器、潜空间流模型和自回归解码器等方法来改进点云潜空间生成模型的性能，并对这些模型在不同物体类型上的生成和重构性能进行分析和比较。

    Feb, 2023

  • 深度生成图像模型的几何学及其应用

    本文基于几何学的角度探究 GAN 潜在空间的性质和图像变异机制，并提出一种基于网络结构的方法计算 GAN 图像多丽安流形的黎曼度量，这一方法可以有效地优化潜在空间的优化等应用，并便于解释变换维度。

    Jan, 2021