Jun, 2024

潜在表示的重要性：一次性绘画任务中的人类般素描

PDF
TL;DR通过研究不同归纳偏差对潜在扩散模型 (Latent Diffusion Models, LDMs) 的潜在空间的影响，我们发现具有减少冗余和基于原型的正则化的 LDM 几乎能够产生接近于人类的图画，使其在样本的可识别性和原创性方面更好地模拟了人类感知（根据心理物理评估），这表明人类与机器在一次性绘图方面的差距几乎已经拉近。
发现论文，激发创造
  • 潜在扩散模型中的场景表示：超越表面统计

    本文研究了潜在扩散模型在产生逼真图像时的内在机制，通过使用线性探针发现，LDM 的内部激活编码了简单场景的几何和显著对象 / 背景区别的线性表示，并且这些表示出现在去噪处理的早期阶段，对 LDM 图像合成具有因果作用，并可用于简单的高级编辑。

    Jun, 2023

  • 潜在扩散模型下的创意绘画

    本研究采用基于自编码器的后向扩散模型和交叉注意力增强的 U-Net 来实现压缩潜在空间的图像生成，扩展了 LDMs 的创意绘画能力，包括文本条件扩展和模型重新训练，该方法使用 Wikiart 数据集进行新颖的绘画生成​​，并通过与原模型的直接比较表明创造力和艺术性得到了丰富的提高。

    Sep, 2022

  • 扩散模型如同艺术家：我们是否正在缩小人类和机器之间的差距？

    本研究使用 “多样性 vs. 可识别性” 评分框架，对一次性扩散模型进行了改进，并发现其可以生成看起来似乎是人类所绘制的图画，但在细节原创性和可识别性方面仍不如人类所绘制的图画，这一差距可以部分地被不同的视觉策略所解释。

    Jan, 2023

  • 通过潜在扩散模型探索上下文分割

    通过使用代表性的生成模型 —— 潜在扩散模型（LDM），我们从新的角度探索了上下文分割问题，提出了两种元架构和相应的输出对齐和优化策略。我们通过全面的消融研究发现，分割质量取决于输出对齐和上下文指令。实验证明，我们的方法在挑战性的上下文分割任务中取得了与专业模型或视觉基础模型相当甚至更强的结果，证明了潜在扩散模型也可以达到足够好的效果。

    Mar, 2024

  • 潜在扩散模型的人类对齐分析

    在这项工作中，我们分析了大规模数据训练的扩散模型对于三选一任务中人类响应的表示对齐情况，发现尽管其与人类响应的对齐程度与仅在 ImageNet-1k 上训练的模型相当，但去噪 U-Net 的对齐层主要为中间层而非瓶颈层，而且文本条件对于高噪声水平下的对齐显著改善，暗示了抽象文本信息的重要性，尤其是在生成的早期阶段。

    Mar, 2024

  • 以你的素描为中心：在扩散模型中实现民主化的素描控制

    通过揭示素描在扩散模型中的潜力，解决了生成人工智能直接素描控制的虚假承诺。我们巧妙地实现了专业素描生成精确图片的民主化过程，证实现有模型变形的空间限制性问题。为了纠正这个问题，我们提出了一种意识到抽象的框架，利用素描适配器，自适应时间步骤采样和经过预训练的精细化素描图像检索模型的辨别引导，协同工作以加强细粒度素描照片关联性。我们的方法在推理过程中无缝运行，无需文本提示；一张简单的草图就像你和我都可以创建的草图一样，就足够了！我们欢迎大家查看论文及其附加资料中展示的结果。贡献包括专业素描生成的民主化控制、引入意识到抽象的框架和利用辨别引导，通过大量实验证实。

    Mar, 2024

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022

  • 渲染器是优秀的零样本表示学习器：探索扩散潜变量用于度量学习

    本研究评估了现代生成式神经渲染模型的潜在空间是否可以作为具有三维感知的区分性视觉理解任务的表示，并使用检索作为度量学习属性的代理，发现 Shap-E 表示在零样本情况下优于经典 EfficientNet 基线表示，并且在使用对比损失训练两种方法时仍然具有竞争力。

    Jun, 2023

  • 从一次学习中学习

    该研究运用天赋先验直接模拟人类在抽象视觉任务（例如字符 / 涂鸦识别）中的基本天赋先验，使得机器学习可以在类似于人类只使用很少的样例和预训练的情况下进行泛化，并保持和人类人类识别率相同。

    Jan, 2022

  • 使用离散潜变量学习表征的稀疏性

    本文提出了一种称为 SDLGM 的稀疏深度潜在生成模型，可以通过限制表征的非零特征的数量实现数据的稀疏学习，其生成的稀疏表示可以根据观察本身调整，并使用 Gumbel-Softmax 分布进行两步采样生成，采取蒙特卡罗梯度估计器的变分方法进行推论和学习，实验结果表明其性能优于传统的生成模型。

    Apr, 2023