Aug, 2023

CoC-GAN：利用上下文聚类揭示图像生成中的新路径

PDF
TL;DR本研究提出了一种基于将图像转换为一组点云的独特图像生成过程，利用名为上下文聚类（Context Clustering）的简单聚类方法和多层感知器（MLP）作为生成模型，无需使用卷积或注意机制，并通过集成称为 Point Increaser 的模块来生成额外的聚类点，最终实现了在特征聚合和分发领域中独特的 Context Clustering Generative Adversarial Network（CoC-GAN）模型的视角。实证评估表明，我们的 CoC-GAN 模型在没有卷积和注意机制的情况下展现出了优秀的性能和可解释性，取得了令人满意的结果，从而为将上下文聚类应用于更多新颖和可解释的图像生成方法的未来研究奠定了基础。
image generationconvolutional neural networkstransformer architecturespoint cloudscontext clustering
发现论文，激发创造
  • 点集图像

    本文介绍了一种新的视觉表示范式 - 环境群聚 (Context Clusters)，可通过简化的聚类算法在一组未组织的点中提取特征，无需卷积或注意力机制，并提供了可视化聚类过程的令人满意的可解释性。在几个基准测试中，Context Clusters 可达到与 ConvNets 或 Vision Transformers 相当甚至更好的结果。

    Mar, 2023

  • 基于注意力机制的图卷积神经网络点云学习

    提出了名为 AGCN 的新型网络结构，结合了图卷积网络和注意力机制，可以有效地从无序和非结构化的点云数据中提取特征，经实验证明在分类和分割任务中均达到了当前最先进的性能。

    May, 2019

  • 基于树结构图卷积的 3D 点云生成对抗网络

    本文提出了一种名为 tree-GAN 的新型生成对抗网络用于 3D 点云生成，并引入树形图卷积网络 (TreeGCN) 作为 tree-GAN 的生成器以提高特征的表示能力，通过引入评估指标 FPD 来准确评估 3D 点云 GAN，实验结果表明了 tree-GAN 在传统度量和 FPD 方面都优于现有的 GAN，并且可以生成不同语义部分的点云。

    May, 2019

  • 基于条件协调的部分生成

    COnditional COordinate GAN (COCO-GAN) 是一种基于空间坐标的图像生成器，通过学习空间关系实现全图像生成，并可实现超出边界和全景生成等多种应用。

    Mar, 2019

  • 基于生成对抗网络的对比细粒度类聚类

    本研究提出了一种基于信息生成对抗网络和对比学习的无监督细粒度图像聚类方法，旨在学习特征表示，促进数据集在嵌入空间中形成明显的聚类边界，同时最大化潜在编码与图像观测之间的互信息。实验结果表明，该方法在四个细粒度图像数据集上实现了最先进的聚类性能，同时缓解了模式崩溃现象。

    Dec, 2021

  • Image2Points：一种用于高质量 PET 图像重建的基于 3D 点的上下文聚类 GAN

    提出了一种基于三维点云上下文聚类生成对抗网络 (PCC-GAN) 的方法，从低剂量正电子发射断层显像 (LPET) 图像中重建出高质量的标准剂量正电子发射断层显像 (SPET) 图像。通过点云表征图像结构，加强重建的细节表达，并采用上下文聚类策略来探索点云之间的上下文关系，从而改善重建图像中小结构的模糊问题。在临床和幻像数据集上的实验证明，PCC-GAN 在定性和定量上优于现有的重建方法。

    Feb, 2024

  • 点在上下文中的理解：通过上下文学习理解点云

    通过引入 Point-In-Context（PIC）框架，利用 in-context learning 解决 3D 点云的任务，同时提出了增强版 PIC-S，通过动态上下文标签和额外的上下文对提高模型性能和泛化能力。

    Apr, 2024

  • 多生成器 GAN 的自上而下深度聚类

    本文提出了一种基于 GAN 的多生成器聚类方法 HC-MGAN，将其设计为自顶向下的分层聚类树，并在多个数据集上进行实验验证，发现该方法能够实现语义上有意义的聚类。

    Dec, 2021

  • 点云 GAN

    本文提出了一种用于生成点云数据的改进的 GAN 算法（PC-GAN），结合了层次贝叶斯建模和隐式生成模型的思想，使用后验推理网络来学习隐藏变量、使用紧凑的 Wasserstein 距离估计来定义优化目标，从而实现了多个 GAN 算法的一般化框架。实验证明，PC-GAN 比现有方法更好地生成了许多 3D 模型，并且具有竞争性能的潜力。

    Oct, 2018

  • 一种用于生成密集且色彩丰富的三维点云的渐进式条件生成对抗网络

    本文介绍了一种使用条件生成对抗网络并以无监督的方式为各种物体创建具有颜色的密集三维点云的方法，并提出了一种点变换器，该变换器通过使用图卷积逐渐增加网络规模。实验结果表明，该网络能够学习和模仿三维数据分布，并产生具有多种分辨率和精细细节的彩色点云。

    Oct, 2020