Jun, 2024

条件图像生成模型的一致性 - 多样性 - 现实性 Pareto 前沿

PDF
TL;DR构建准确全面地代表真实世界的世界模型是有条件的图像生成模型的最高追求，本文使用最新的文本到图像和图像到图像的模型及其问题来绘制一种提供严谨保守性，多样性和真实性多目标的一体化视图的一致性 - 多样性 - 真实性 Pareto 前沿，我们的实验表明，现实性和一致性可以同时提高，但现实性 / 一致性和多样性之间存在明显的权衡，通过计算地理多样性数据集上的 Pareto 前沿，我们发现在所有评估方面，潜在扩散模型的第一版本往往比最新模型表现更好，并且地理区域之间存在明显的一致性 - 多样性 - 真实性差异，总体而言，我们的分析清楚地显示了没有最佳模型的事实，并且模型的选择应由下游应用确定，通过这项分析，我们邀请研究界考虑 Pareto 前沿作为衡量世界模型进展的分析工具。
world modelsconditional image generative modelsrepresentation diversityconsistency-diversity-realism pareto frontslatent diffusion models
发现论文，激发创造
  • 评估图像生成中的地理多样性差异

    通过引入三个指标，我们评估了文本到图像生成系统在生成全球各地对象时的真实性、多样性和提示生成的一致性，分析了当前最先进的视觉内容生成系统中可能存在的地理偏见，并发现：（1）在提示生成非洲和西亚的对象时，模型的真实性和生成多样性较欧洲较低，（2）使用地理信息作为提示对生成的图片的一致性和多样性具有一定的负面影响，以及（3）在一些对象上，模型存在更多的区域级差异。引入这些指标是确保每个人在视觉内容创建中有积极体验的关键步骤。

    Aug, 2023

  • 一种丰富且高效的强化学习策略类别：一致性模型

    我们提出了一种用于离线、离线到在线和在线三种典型强化学习设置的高效且表达力强的策略表示方法，称为一致性策略，以一种演员 - 评论家风格的算法应用连续模型，展现了其在多模态数据、计算效率和性能方面的优势。

    Sep, 2023

  • 光线调节：在多视角图片生成中用照片逼真度交换照片一致性

    用光场模型条件化生成多视图图像，同时保持视角控制、逼真度和一致性，是一种减小拍摄一致性限制的新型生成模型。

    Apr, 2023

  • HarmonyView：在一张图像至三维中实现一致性和多样性的协调

    该论文介绍了 HarmonyView 这一简单而有效的扩散采样技术，能够同时解决一张图片生成三维内容中的一致性和多样性的问题，并提出了基于 CLIP 图像和文本编码器的新评估指标，能够全面评估生成视图的多样性。通过实验证明，HarmonyView 在一致性和多样性方面取得了和人类评估者判断相近的和谐平衡结果。

    Dec, 2023

  • 检验文图生成模型图像地理代表性

    本文中，我们采用众包研究来衡量使用 DALL.E 2 和 Stable Diffusion 模型对普通名词进行生成时，生成图像对全球各地表现力的代表性。我们发现，对于没有特定国名的输入，生成的图像表现美国和印度的环境最好，其他国家的表现不如其它的。如果在输入中指定国家名称，则 DALL.E 2 的表现提升了 1.44 分，Stable Diffusion 的表现提升了 0.75 分，但许多国家的总体得分仍然很低，需要未来的模型在地理上更加包容。最后，我们研究了在不进行用户研究的情况下量化生成图像在地理上的代表性的可行性。

    May, 2023

  • 一致性的平方：基于潜在一致性模型的一致且快速的三维绘画

    基于 Objaverse 数据集样本研究，我们的 3D 绘画方法在所有评估中均获得强烈的偏好。

    Jun, 2024

  • 低剂量 CT 图像去噪的泊松流一致性模型

    提出了一种结合了 Poisson 流一致性模型（PFCM）的后采样 Poisson 流一致性模型（PS-PFCM）的图像去噪技术，该方法能够在低剂量 CT 图像上优于当前的最优扩散样式模型，并在 CIFAR-10 数据集上提供了初步结果。

    Feb, 2024

  • OneActor：通过群集条件引导实现一致的角色生成

    針對文本到圖像擴散模型中的一致性生成的挑戰，提出了一種輕量級但複雜的引導方法，通過引入後驗樣本來引導去噪軌跡向目標集群集中，並設計輔助組件來同時增強調整過程和規範推理，以提高生成圖像的內容多樣性。綜合實驗結果顯示，該方法在角色一致性、提示一致性和圖像質量方面都優於基線方法，並且比基於調整的基線方法至少快 4 倍。此外，首次證明語義空間具有與潛在空間相同的插值特性，可作為另一種精細生成控制的有希望工具。

    Apr, 2024

  • RealCompo：现实主义与构成的动态平衡改进文本到图像扩散模型

    我们提出了一种新的训练免费和易于传输的文本到图像生成框架 RealCompo，旨在借鉴文本到图像和布局到图像模型的优势，增强生成图像的真实性和组合性，通过一个直观和新颖的平衡器动态平衡两个模型在去噪过程中的优势，允许任意模型的即插即用使用，广泛实验证明我们的 RealCompo 始终胜过最先进的文本到图像模型和布局到图像模型在多对象组合生成中同时保持令人满意的真实性和组合性。

    Feb, 2024

  • 一致性扩散模型的可证明统计速率

    本文提出了一种统计理论，将一致性模型的训练视为分布差异最小化问题，并通过使用 Wasserstein 距离，导出了与传统扩散模型相匹配的一致性模型的统计估计速率，同时揭示了一致性模型通过蒸馏和隔离方法进行训练的优势。

    Jun, 2024