CVPRMar, 2023

图形胶囊：从 2D 图像学习层级的 3D 人脸表示

PDF
TL;DR本文提出了逆向图形胶囊网络 (IGC-Net)，通过图形胶囊这种新型胶囊进行层级建模和无监督学习，从大规模无标注图像中学习人脸的层级 3D 表示。通过该网络的学习，揭示了神经网络如何将人脸理解为 3D 模型的层次结构。此外，利用学习到的部分可以对无监督的人脸分割任务进行评估，并且具有明确物理含义的部分级描述提供了一些有关人脸分析的洞见。
inverse graphics capsule network3d face representationshierarchical modelingunsupervised learningneural network
发现论文，激发创造
  • HP-Capsule：分层解析胶囊网络实现无监督人脸部位发现

    本文提出了一种用于无监督人脸子部件 - 部分发现的分层解析胶囊网络 (HP-Capsule)，通过 Transformer-based Parsing Module（TPM）将子部分胶囊组装到部分级胶囊中来学习它们之间的组合关系，并将其应用于 BP4D 和 Multi-PIE 数据集上，证明了方法的有效性。

    Mar, 2022

  • 层次图胶囊网络

    本文提出了一种称为层次图胶囊网络（HGCN）的创新方法，它可以联合学习节点嵌入和提取图层次结构，通过识别每个节点下的异构因素建立分离的图胶囊，从而表征同一实体的不同属性，并通过显式考虑部件之间的结构信息来表征低层胶囊（部分）和高层胶囊（整体）之间的整体关系。实验结果表明 HGCN 的效果和每个组件的贡献。

    Dec, 2020

  • 基于胶囊网络的层次化物体中心学习

    该论文研究了 CapsNets（胶囊网络）的吸引人之处，并聚焦于解锁其全部潜能的三个关键问题：路由算法的有效性、提取更有效的第一层胶囊、以及胶囊网络中的部分关系学习。此外，还展示了 CapsNets 在实际应用中的潜力，包括无人机的自主定位、合成数据集中的四元数旋转预测和生物医学成像中的肺结节分割。该论文的研究结果对于深入理解 CapsNets 并突破复杂的计算机视觉挑战具有重要意义。

    May, 2024

  • 深层多原型胶囊网络

    该研究论文提出了一种多原型架构，以指导胶囊网络表示图像部分的变化。通过使用多个胶囊（共组胶囊）捕获一个对象的多个原型，胶囊网络在图像分类准确性方面优于其他模型。

    Apr, 2024

  • 图范囊卷积神经网络

    本文提出了一种名为 Graph Capsule Network (GCAPS-CNN) 的模型，通过使用胶囊网络的思想对 GCNN 模型的一些基本缺陷进行了改进，并将其应用于解决当前 GCNN 模型在图分类问题上面临的挑战，实验结果表明，GCAPS-CNN 模型可以显著地提高图分类基准数据集上的性能。

    May, 2018

  • 学习与胶囊：一项调查

    介绍了胶囊网络的基本概念和动机，以及它们在图像识别、视频、自然语言处理、医学成像等领域的广泛应用，探讨了胶囊网络研究中的主要障碍和未来研究的方向。

    Jun, 2022

  • 基于流动胶囊的无监督式部分表示

    研究了通过利用运动感知来学习原子部件的方式来提高 Capsule 网络的检测性能，实验证明在多个对象、杂乱背景和遮挡的情况下具有稳定的部分发现能力，其图像解码器可以有效地填充检测到的形状的遮挡部分，该方法可以用于无监督部分分割和无监督图像分类。

    Nov, 2020

  • iCaps: 迭代式类别级物体姿态和形状估计

    本文提出了一种基于自编码器、粒子滤波和 LatentNet 的类别水平 6D 目标姿态和形状估计方法，可用于跟踪类别中未见过的物体的 6D 姿态和估计它们的 3D 形状。

    Dec, 2021

  • 基于胶囊网络架构学习的表征特点研究

    本文系统性地评估了 Capsule Networks 的可解释性，并分析了 MNIST、SVHN、PASCAL-part 和 CelebA 数据集中编码的表示是否真正将部分整体关系编码在学习表示中，结果表明 CapsNets 中的表示可能并没有像文献中常常表述的那样解耦并且严格相关于部分整体关系。

    May, 2023

  • Iso-CapsNet: 等距胶囊网络用于脑图表示学习

    该研究提出了一种名为 Iso-CapsNet 的新的神经网络模型，通过引入图同构胶囊，实现了对于脑图表征的有效学习。这个新的方法可以同时学习子图的存在、位置、大小和方向等特性，提高了基于脑图的诊断准确性。

    Jun, 2022