ICLRAug, 2020

Bowtie Networks: 联合少样本识别和新视角合成的生成建模

PDF
TL;DR提出了联合少样本识别和新视角合成的新颖任务，并通过生成模型和判别模型的相互合作，提出了蝴蝶结网络（Bowtie Networks），用于学习三维几何和语义特征的反馈循环，以实现从新视角生成真实感的图像并提高识别准确性，特别是在低数据量的情况下。
few-shot recognitionnovel-view synthesisgenerative modeldiscriminative modeldata augmentation
发现论文，激发创造
  • 从单张图像中无监督生成新视角

    本论文提出了一种基于生成对抗网络的条件生成模型，通过无监督学习实现在没有多视角、3D 和姿态监督的情况下进行从单一图像到新视角的合成。

    Feb, 2021

  • 面向变换的图像生成网络用于新型 3D 视角合成

    提出了一种基于变换的图像生成网络，能够从单张图片中合成新的 3D 视图，并采用用组合的对抗和感知损失的训练方法，成功地减少了失真和图像中的缺陷，并保留了图像的视觉细节等特征。

    Mar, 2017

  • 半监督式少样本学习的神经视图合成与匹配于 3D 姿态

    本文提出了一个基于神经网络视图合成和匹配的学习框架，通过生成的伪标签来学习众多未标注图像中的物体 3D 姿态估计，同时结合 EM 算法的方式，逐步提高特征提取器在不同 3D 视角下的不变性，并通过在 PASCAL3D+ 和 KITTI 数据集上进行的实验证明，该方法在少样本学习下，尤其是掩盖度极高的情况下，比其他基线方法表现更好，且具有出色的鲁棒性。

    Oct, 2021

  • 用于单图像新视角合成的几何感知深度网络

    本文提出了一种利用场景 3D 几何信息进行新视角生成的方法，通过学习区域感知几何转换网络实现输入图像到目标视角的变换，并在 KITTI 和 ScanNet 数据集上取得了优于现有方法的高质量生成效果。

    Apr, 2018

  • 少样本视角估计

    通过元学习训练 MetaView 框架中的视角网络，其学习估计特定类别的 3D 形状，相关深度估计和语义 2D 关键点。在 ObjectNet3D 和 Pascal3D + 数据集上进行实验，表明该框架明显优于现有方法且具有重要的体系结构创新。

    May, 2019

  • FSViewFusion：少样本情境下生成新颖物体的视角生成

    通过预训练的稳定扩散模型，基于个性化文本到图像模型 Dreambooth，我们的研究发现视图概念可以被学习和分离，并通过少量示例迁移到新对象，我们引入了一种名为 FSViewFusion 的学习策略，通过单个场景的一张图像样本来传递视图的知识，通过低秩适配器在少量样本上学习新对象，通过大量实验证明我们的方法能够在野外图像中生成可靠的视图样本。

    Mar, 2024

  • 通过重构对齐进行新型物体视角估计

    本文提出了一种新的物体观察视点估计方法，使用图像对齐替代传统的依赖于三维模型或大量特定类别数据的方法，并在多个数据集上进行实验验证。

    Jun, 2020

  • 基于组合先验的少样本单视图三维物体重建

    本文提出了三种针对三维重建少样本的方法，并将类先验有效地整合到模型中，以便考虑类内变异性和强制实施隐式组合结构，从而在少样本场景中显著优于现有基线模型，实验在 ShapeNet 数据集上。

    Apr, 2020

  • 野外物体少样本检测与视角估计

    本文提出了基于类代表特征和几何相似性的少样本物体检测和视角估计方法，取得了 PASCAL，COCO，Pascal3D+，ObjectNet3D 和 Pix3D 数据集中的最优结果。

    Jul, 2020

  • 基于学习的新颖视角合成的全脸外貌的基于 3D 凝视估计

    本研究提出了基于单目三维面部重建的合成凝视估计训练数据的新方法，利用投影匹配过程，配合掩码引导凝视估计模型和数据增强策略，显著提高了在具有非重叠凝视分布的跨数据集环境下的估计性能。

    Jan, 2022