为了更好地满足人类审美偏好，本文通过引入人类评分获得的数据集和人类偏好分类器，提出了一种简单有效的基于稳定扩散的方法，通过调整生成模型，生成更符合人类审美偏好的图像。

Mar, 2023

通过引入偏爱条件模块到 CLIP 模型，我们提出了首个用于评估文本到图像模型的多维度偏好评分模型，称为 Multi-dimensional Preference Score（MPS）。MPS 在我们的 Multi-dimensional Human Preference（MHP）数据集上进行训练，在四个维度（审美、语义一致性、细节质量和整体评估）上获得 918,315 次人类偏好选择，涵盖了 607,541 张由各类最新文本到图像模型生成的图像。MPS 在三个数据集的四个维度上优于现有评分方法，为评估和改进文本到图像生成提供了有希望的指标。

May, 2024

通过创建一个网络应用程序，我们制作了 Pick-a-Pic 数据集，以收集来自文本到图像用户的大规模偏好数据。使用该数据集，我们训练了一种基于 CLIP 的评分函数 PickScore，并证明其在预测人类偏好方面具有超人级的性能。因此，我们建议将 PickScore 用于评估未来的文本到图像生成模型，并使用 Pick-a-Pic 提示作为比 MS-COCO 更相关的数据集。最后，我们演示了如何通过排名来提高现有的文本到图像模型。

May, 2023

通过使用直接偏好优化（DPO）的人体图像生成方法以及改进的损失函数，本文在人体图像生成领域取得了显著进展，达到了自然解剖结构、姿势和文本 - 图像对齐方面的优越结果。

May, 2024

本文介绍了 ImageReward，第一个通用的文本到图像人类偏好奖励模型，通过系统注释流程，其训练基于涵盖评级和排名组件的数据集，包括 137k 个专家比较。在人类评估中，ImageReward 超越了现有的评分方法（例如 CLIP），成为评估和改进文本到图像合成的有前途的自动度量标准。该奖励模型可通过 exttt {image-reward} 包在 https://github.com/THUDM/ImageReward 上公开获得。

Apr, 2023

我们提出了一种名为 Preference Score（PS）的新型基于学习的评估指标，用于对人类偏好进行定量评估，验证其在与人类感知的一致性、对未见数据的鲁棒性和泛化能力方面的优越性，对推进对话头生成具有重要价值。

Jul, 2023

基于人工判断，我们引入了第一个在图像生成性能方面手动标注的提示数据集，并且在图像检索中收集了手动标注的检索结果，从而确定相同提示在图像生成和图像检索中的困难程度。我们提出了第一个综合评估图像生成和图像检索中提示 / 查询性能困难程度的基准，包括 10K 个查询。通过各种预生成 / 检索和后生成 / 检索性能预测器的结果，为未来研究提供了竞争基准。

Jun, 2024

我们在本文中提出了一种经验研究，介绍了一种用于文本到图像（T2I）生成模型的细致评估框架，应用于人类图像合成。我们的框架将评估分为两个不同的组别：第一组主要关注美学和真实性等图像质量，第二组则检验文本条件，包括概念覆盖和公平性。我们引入了一种创新的美学评分预测模型，评估生成图像的视觉吸引力，并首次提供了标记有生成人类图像低质量区域的数据集以便进行自动缺陷检测。我们对概念覆盖的探索考察了模型准确解释和渲染基于文本的概念的有效性，而公平性分析则揭示了模型输出中的偏见，特别关注性别、种族和年龄。尽管我们的研究以人类图像为基础，但这种双重面向的方法被设计成具有灵活性，可以应用于其他形式的图像生成，增强我们对生成模型的理解，并为下一代更复杂、具有上下文意识和伦理关注的生成模型铺平道路。我们将很快发布我们的代码，用于评估生成模型的数据以及标注有有缺陷区域的数据集。

Mar, 2024

通过利用多模态大型语言模型创建 VisionPrefer，我们构建了一个高质量和细粒度的用户偏好数据集，用于指导文本到图像生成模型的训练，该数据集在多个偏好方面捕捉了人类的喜好，并且其性能优于之前的人类偏好度量标准，并证明了将人工智能生成的合成数据作为监督信号集成到视觉生成模型中，是实现与人类偏好更好的对齐的一个有前途的途径。

Apr, 2024

本文提出了一个全面、可靠和可扩展的 Text-to-Image 模型评估基准 HRS-Bench，它涵盖了 13 种技能和 50 种情境，旨在促进未来文本到图像生成研究的发展。通过使用广泛的度量标准对 9 个最新的大规模 T2I 模型进行评估，实验结果表明现有模型在生成具有期望数量的对象、视觉文本或基础情感方面存在问题。

Apr, 2023