Jul, 2023

ViCE！在图像生成评估中模仿人类的认知行为

PDF
TL;DR通过模拟人类认知过程，我们提出了一种新的自动化的视觉概念评估方法（ViCE），用于评估生成 / 编辑的图像与相应提示 / 说明之间的一致性，并为图像评分。虽然这种模拟人类在图像评估过程中的新假设正处于初步评估阶段，但结果令人鼓舞，并为一种新形式的自动评估打开了大门，这将在图像生成或图像目标编辑任务变得越来越复杂时产生重要影响。
image generationvision-language modelsvisual concept evaluationautomated methodquality assessment
发现论文，激发创造
  • 基于视觉语言模型的字幕评估方法及其视觉上下文提取

    通过提取和组织图像的详细内容，包括物体、属性和关系，我们的方法将人类编写的参考文本替换为视觉上下文，并帮助视觉语言模型更好地理解图像，从而提高图像标题评估性能，并在多个数据集上进行的元评估验证了 VisCE2 在捕捉标题质量方面胜过常规预训练评估指标，并且在与人类判断方面呈现出卓越的一致性。

    Feb, 2024

  • 视觉问答模型和人类智能的认知比较研究

    通过比较视觉问答模型的输出和注意力图与人类的相似之处，研究发现虽然 VQA 模型在结构和识别水平上与人类相似，但在认知推理方面仍然存在挑战。人类思维过程的分析有助于指导未来的研究，并在建模特征和架构中引入更多的认知能力。

    Oct, 2023

  • 基于扩散的视觉反事实解释 —— 朝向系统化定量评估

    最新的视觉反事实解释方法利用深度生成模型的能力合成了高维度图像的新示例，本研究提出了一个系统的、量化的评估框架以及一组最小的指标，探索了最新的基于扩散的生成模型在自然图像分类的反事实解释方面的关键设计选择的效果，并通过产生数千个反事实解释来对各种复杂度、准确性和鲁棒性的分类器进行了一系列消融实验，为未来反事实解释方法的进一步改进和发展提出了多个方向，通过分享研究方法和解决计算挑战的方法，为该领域的研究人员提供了宝贵的指导，促进了对反事实解释的评估的一致性和透明度。

    Aug, 2023

  • GenAI-Bench: 评估和改进文本到视觉生成能力

    本文通过对 GenAI-Bench 上的人类评分进行广泛研究，评估领先的图像和视频生成模型在复合文本到视觉生成的各个方面的性能，并发现 VQAScore 比先前的评估指标（如 CLIPScore）明显优于人类评分，而且 VQAScore 可以在黑盒的基础上通过简单地对候选图像进行排名（3 到 9 张）从而显著提高生成速度，在需要高级视觉语言推理的复合提示下，VQAScore 的排名效果比其他评分方法如 PickScore、HPSv2 和 ImageReward 提高 2 倍至 3 倍。

    Jun, 2024

  • 大型视觉语言模型的图像推理与描述的认知评估基准

    通过使用具有丰富语义的图像，我们提出了一种新的评估基准，评估大规模视觉语言模型（LVLMs）的高级认知能力。该基准定义了八种推理能力，并包括图像描述任务和视觉问答任务。我们对知名的 LVLMs 进行评估发现，LVLMs 与人类之间的认知能力差距仍然很大。

    Feb, 2024

  • 激发视觉创造力：图像编辑建议的视觉语言助手

    该研究论文介绍了图像编辑推荐任务，通过 Creativity-Vision Language Assistant 的训练和编辑指令数据集的提供，实现了从输入图像和简单提示生成多样创意编辑指令的目标。通过引入新颖的 ' 用于本地化的标记 ' 机制，我们的模型支持全局和局部编辑操作，并证明了其在提供具有魅力的创意元素且与输入图像和用户初始提示高度相关的指令方面的有效性。

    May, 2024

  • ImaginE：一种基于想象力的自动自然语言生成评估指标

    本文提出了一种基于想象力的自然语言生成自动评估度量 ——ImaginE，通过与先进的文本到图像生成工具 StableDiffusion 结合，自动生成文本碎片的图像并使用情境嵌入计算想象力相似性，在多个文本生成任务实验中表现出引入多模信息到语言生成评估中的巨大潜力，并在基于参考和无参考评估方案中，提高了自动评估度量与人类相似度判断之间的相关性。

    Jun, 2021

  • 评估文本与图像生成模型：人类图像合成的实证研究

    我们在本文中提出了一种经验研究，介绍了一种用于文本到图像（T2I）生成模型的细致评估框架，应用于人类图像合成。我们的框架将评估分为两个不同的组别：第一组主要关注美学和真实性等图像质量，第二组则检验文本条件，包括概念覆盖和公平性。我们引入了一种创新的美学评分预测模型，评估生成图像的视觉吸引力，并首次提供了标记有生成人类图像低质量区域的数据集以便进行自动缺陷检测。我们对概念覆盖的探索考察了模型准确解释和渲染基于文本的概念的有效性，而公平性分析则揭示了模型输出中的偏见，特别关注性别、种族和年龄。尽管我们的研究以人类图像为基础，但这种双重面向的方法被设计成具有灵活性，可以应用于其他形式的图像生成，增强我们对生成模型的理解，并为下一代更复杂、具有上下文意识和伦理关注的生成模型铺平道路。我们将很快发布我们的代码，用于评估生成模型的数据以及标注有有缺陷区域的数据集。

    Mar, 2024

  • 面向可验证和可重复的文本到图像生成的人类评估

    本文旨在提出一种规范化和明确定义的人工评估协议，以促进未来作品中可验证和可重复的人工评估，针对 37 篇最近论文调查显示，许多作品仅依赖自动度量或执行不可靠或不可重复的人工评估，同时，作者还提供了设计可靠和决定性人工评估实验所需的见解，并向社区提供了几个公开的资源以促进快速实现。

    Apr, 2023

  • 评估文本到视觉生成与图像到文本生成

    通过引入 VQAScore 和 GenAI-Bench，本研究在评估生成式人工智能方面取得了重要进展，并证明了 VQAScore 与传统评估指标相比在复杂文本生成方面的可靠性和性能优势。

    Apr, 2024