May, 2023

利用精细语义奖励提升文本到图像扩散模型

PDF
TL;DR本文提出 FineRewards 方法，通过引入两种细粒度语义奖励 ——caption reward 和 SAM reward，从两个语义视角提升 text-to-image 中文本和图像的匹配，实现模态对齐。在使用多个奖励函数指导训练的时候，FineRewards 方法在 MS-COCO 基准测试上优于其他基准奖励函数，并且与当前图像奖励的统一进一步提高了模型性能。
text-to-imagemodality alignmentfine-grained semantic rewardscaption rewardsam reward
发现论文，激发创造
  • 基于 Sam 引导的增强细粒度混合语义学习的医学图像字幕生成

    本文介绍了一种由 SAM 模型引导的新型医学图像字幕方法，以实现对医学图像的总体信息和细节进行增强编码，通过混合语义学习的独特预训练策略，同时捕捉医学图像的整体信息和细微细节，并证明了该方法在生成医学图像描述方面在各种评估指标上优于预训练的 BLIP2 模型。

    Nov, 2023

  • 使用 CLIP 奖励的细粒度图像字幕生成

    本研究提出使用基于大规模图像 - 文本对训练的多模态编码器 CLIP 计算多模态相似度并将其用作奖励函数来产生更加具有描述性和独特性的标题，同时证明使用 CLIP 奖励相较于传统奖励模板对于改善生成模型具有优势，并介绍了一种简单的 CLIP 文本编码器微调策略以提高语法。

    May, 2022

  • 基于扩散的感知的文本图像对齐

    扩散模型是具有令人印象深刻的文本到图像合成能力的生成模型，对于传统机器学习任务产生了一系列创新方法。然而，如何运用这些生成模型的感知知识来进行视觉任务仍然是一个未解之谜。本研究发现，自动生成的描述能够改善文本图像对齐，并显著提升模型的交叉注意力图，从而提高知觉性能。我们的方法在 ADE20K 数据集上改进了当前最先进的基于扩散的语义分割模型，并在 NYUv2 数据集上改进了当前最先进的深度估计模型。此外，我们的方法适用于跨领域环境；我们使用模型个性化和标题修改来将模型与目标域对齐，并改善了非对齐基准的性能。我们的目标检测模型，在 Pascal VOC 数据集上训练，实现了 Watercolor2K 数据集上的最佳结果。我们的分割方法，在 Cityscapes 数据集上训练，实现了 Dark Zurich-val 和 Nighttime Driving 数据集上的最佳结果。

    Sep, 2023

  • 文本到图像扩散模型的语义引导调整

    最近的文本到图像 (T2I) 扩散模型的进展在生成具有零样本泛化能力的高质量图像方面取得了令人印象深刻的成功。然而，当前的模型在紧密遵循提示语义方面存在困难，通常会误代或忽视特定属性。为了解决这个问题，我们提出了一种简单的、无需训练的方法，在推理过程中调节扩散模型的引导方向。我们首先将提示语义分解为一组概念，并监控与每个概念相关的引导轨迹。我们的关键观察是，模型在遵循提示语义方面的偏离与引导从一个或多个概念偏离的差异高度相关。基于这一观察，我们设计了一种技术，将引导方向引导至模型偏离的任何概念。广泛的实验验证了我们的方法可以改善扩散模型对提示的语义对齐。项目页面可在此链接上找到: this https URL

    Dec, 2023

  • 从文本到掩码：使用文本 - 图像扩散模型的注意力定位实体

    本研究揭示了扩散模型中隐藏的丰富多模态知识的一种新方法，用于分割任务。

    Sep, 2023

  • 用于改进文本到图像模型的类条件自奖励机制

    通过使用自奖励机制改进自动生成的图像，可以有效提高文本到图像生成模型的性能和图像质量。

    May, 2024

  • 文本到图像生成的语义分离

    该文提出了一种新的文本图像生成模型，使用基于语义的标准化处理和图像嵌入策略来实现高水平的语义一致性和低水平的语义多样性，并在 CUB 和 MS-COCO 数据集上展示了其优异性能。

    Apr, 2019

  • 图像 - 文本匹配的视觉语义推理

    我们提出了一种简单而易于解释的推理模型，用于生成全局场景的主要对象和语义概念的可视化表示，该模型使用图卷积网络进行关联和推理，再使用门和记忆机制进行全局语义推理，选取判别信息并逐渐生成整个场景的表示；实验证明我们的方法在 MS-COCO 和 Flickr30K 数据集上取得了相对于最佳方法分别为 6.8％和 4.8％的图像检索和字幕检索的新的最佳效果，Flickr30K 数据集上分别提高了 12.6％和 5.8％的图像检索和字幕检索。

    Sep, 2019

  • 基于场景文本的细粒度图像分类与检索的多模态推理图

    本文采用图卷积网络结合场景文本实例和显著图像区域进行多模态推理，在 Con-Text 和 Drink Bottle 数据集中，在细粒度图像分类和图像检索任务中显著优于之前的最新技术。

    Sep, 2020

  • 利用标题中的信息进行弱监督语义分割

    通过多模态网络，该工作借助互联网上的图像标注来进行弱监督学习，实现语境上下文对图像中出现的类别的提取与分割，并在 COCO 数据集上取得了 SOTA 的结果。

    May, 2019