Jul, 2023

划分、评估与改进：基于迭代 VQA 反馈的文本到图像对齐的评估和改进

PDF
TL;DR通过分解式对齐评估和改进文本到图像的对齐效果，并使用 Decompositional-Alignment-Score 和 VQA 模型来测量不同断言的对齐度。实验结果表明，这种对齐度指标与人类评分高度相关，并且断言级别的对齐度评分可用于逐步提高最终图像输出中不同断言的表达。人类用户研究表明，该方法在整体文本到图像对齐准确性方面超过了之前的最先进方法 8.7%。
text-conditioned image generationlatent diffusion modelstext-to-image alignmentdecompositional-alignment-scorevqa model
发现论文，激发创造
  • 评估文本到视觉生成与图像到文本生成

    通过引入 VQAScore 和 GenAI-Bench，本研究在评估生成式人工智能方面取得了重要进展，并证明了 VQAScore 与传统评估指标相比在复杂文本生成方面的可靠性和性能优势。

    Apr, 2024

  • 分解和重组：解决文本到图像扩散模型中的条件不对齐

    本文提出了一种名为 “分解和重新对齐” 的无需训练的方法，通过分离存在于图像和文本之间的对应关系来改善现有模型的可控性，从而实现对部分对齐条件的控制。我们采用交叉注意机制来避免在重新组合分别计算的分数时产生新的冲突，在定性和定量结果上都证明了我们方法的有效性。

    Jun, 2023

  • 错配探索：图像 - 文本错位的视觉与文本反馈

    本文提出了一种方法，利用大型语言模型和视觉定位模型自动构建训练集来提供检测到的文本和图像对之间的详细文本和视觉错位的解释，实验证明在我们的训练集上微调视觉语言模型可以在二元对齐分类和解释生成任务上优于强基线模型。

    Dec, 2023

  • GenAI-Bench: 评估和改进文本到视觉生成能力

    本文通过对 GenAI-Bench 上的人类评分进行广泛研究，评估领先的图像和视频生成模型在复合文本到视觉生成的各个方面的性能，并发现 VQAScore 比先前的评估指标（如 CLIPScore）明显优于人类评分，而且 VQAScore 可以在黑盒的基础上通过简单地对候选图像进行排名（3 到 9 张）从而显著提高生成速度，在需要高级视觉语言推理的复合提示下，VQAScore 的排名效果比其他评分方法如 PickScore、HPSv2 和 ImageReward 提高 2 倍至 3 倍。

    Jun, 2024

  • 信息论文本到图像对齐

    基于信息论对齐度量的自监督微调方法对模型对齐问题进行了研究，在文字到图像生成任务中获得了与最新技术相媲美或超过的结果，并且只需要一个预训练的去噪网络来估计互信息和一个轻量级微调策略。

    May, 2024

  • 针对真实世界图像质量评估的质量感知图像文本对齐

    使用 QualiCLIP，这是一种基于 CLIP 的自监督方法，旨在解决无高质量参考图像时测量图像质量的问题；与其他方法相比，在不需要标记的主观测试分数的情况下，在真实场景中表现更好，并且具有更好的鲁棒性和解释性。

    Mar, 2024

  • 利用人类反馈对齐文本与图像模型

    本文介绍了一种 Fine-Tuning 方法，使用人类反馈对齐文本到图像的 Deep generative model，通过分析设计选择平衡对齐 - 准确性的权衡，最终通过奖励加权似然优化，使得生成的对象更准确地反映了指定颜色、数量和背景等特征。结果表明，利用人类反馈可以显著改善文本到图像的 Deep generative model 的性能。

    Feb, 2023

  • 你所看到的就是你所读到的？—— 改进文本 - 图像对齐评估

    本文研究了文本和对应图像是否语义对齐这一问题，提出了使用人类判断和自动化方法来确定文本 - 图像对齐的方式，本文改进了以前的方法，并提出了一种新的方法，它可以定位图像和给定文本的特定不对齐部分，并将其应用于自动重新排列生成的文本到图像的候选项中。

    May, 2023

  • EvalAlign: 通过监督微调人工注释的多模态大模型的精确定位评估文本到图像模型

    本文提出了 EvalAlign，这是一种准确性、稳定性和细粒度特性突出的评估指标，通过利用在大规模数据集上进行预训练的多模式大型语言模型（MLLMs）的能力，通过开发集中在图像忠实度和文本 - 图像对齐的两个关键维度的评估协议以及详细的、细粒度的指导指令，进行生成图像的精确手动评分，使 MLLMs 与人类评估判断紧密对齐，得到了一个强大的评估模型。我们对 24 个文本 - 图像生成模型进行了全面的测试，结果表明 EvalAlign 不仅提供了更好的指标稳定性，而且比现有的指标更接近人类的偏好，从而验证了其在模型评估中的有效性和实用性。

    Jun, 2024

  • 基于扩散的感知的文本图像对齐

    扩散模型是具有令人印象深刻的文本到图像合成能力的生成模型，对于传统机器学习任务产生了一系列创新方法。然而，如何运用这些生成模型的感知知识来进行视觉任务仍然是一个未解之谜。本研究发现，自动生成的描述能够改善文本图像对齐，并显著提升模型的交叉注意力图，从而提高知觉性能。我们的方法在 ADE20K 数据集上改进了当前最先进的基于扩散的语义分割模型，并在 NYUv2 数据集上改进了当前最先进的深度估计模型。此外，我们的方法适用于跨领域环境；我们使用模型个性化和标题修改来将模型与目标域对齐，并改善了非对齐基准的性能。我们的目标检测模型，在 Pascal VOC 数据集上训练，实现了 Watercolor2K 数据集上的最佳结果。我们的分割方法，在 Cityscapes 数据集上训练，实现了 Dark Zurich-val 和 Nighttime Driving 数据集上的最佳结果。

    Sep, 2023