Mar, 2024

Ground-A-Score: 扩展属性编辑的分数提炼

PDF
TL;DR通过加入定位评分，在图像编辑结果中精确反映复杂文本提示的要求，同时保留源图像中物体的完整性，我们提出了 Ground-A-Score，一种简单而强大的模型无关的图像编辑方法。
text-to-image diffusion modelsimage editing techniquesground-a-scorescore distillationobject locations
发现论文，激发创造
  • 通过文本图像传播模型进行零样本视频编辑

    一种名为 Ground-A-Video 的新型基于 groundings 的多属性视频编辑框架，通过引入跨帧门控注意力、调制交叉注意力和光流引导反转隐藏特征平滑，实现了无需训练的时间一致的多属性视频编辑，并在编辑准确度和帧一致性方面表现优于其他基准方法。

    Oct, 2023

  • 基于条件得分指导的文本驱动图像到图像的翻译

    本文提出了一种新颖的算法，利用预训练文本到图像扩散模型，通过在源图像中选择性地编辑被修改的文本定义下的感兴趣区域，生成目标图像，并引入新的评分函数，该函数同时考虑特定的翻译任务，实现了优秀的图像翻译表现。

    May, 2023

  • 通过自适应滑动分数蒸馏进行零样本视频编辑

    我们的工作致力于探索基于分数蒸馏的稳健视频编辑范式，通过提出自适应滑动分数蒸馏策略，修改编辑过程中的自注意力层以保留原视频的关键特征，能够有效地应对文本为基础的视频生成中的挑战，实现与现有先进方法相比更优异的编辑性能。

    Jun, 2024

  • ReGround: 提升文本和空间定位的无成本方法

    通过改变网络架构，将分布式注意力和交叉注意力从串行变为并行，可以显著减少文本和空间对齐之间的权衡。

    Mar, 2024

  • 一种基于得分蒸馏采样的文本到 3D 的定量评估

    通过定量评估指标、交叉验证人类评级以及分析 SDS 技术的失败案例，我们提出了一种新的计算效率基准模型，以解决生成模型中的艺术问题，包括 3D 模型准确性和文本提示之间的错位问题，并在所提出的评估指标上达到了最先进的性能。

    Feb, 2024

  • 通过提炼图像 - 文本匹配模型，实现更加扎实的图像字幕生成

    本研究提出了一种基于 Part-of-Speech 增强图像 - 文本匹配模型的方法（称为 POS-SCAN），以提高图像字幕准确性，并且探讨了图像 - 文本匹配分数作为奖励用于更加接近实际对象的图像字幕训练。

    Apr, 2020

  • 对抗性得分蒸馏：当得分蒸馏遇上 GAN

    现有的分数蒸馏方法对于分类器无关指导（CFG）的尺度非常敏感，表现为小的 CFG 尺度上的过度平滑或不稳定，而在大的尺度上过饱和。本文提出了对抗性分数蒸馏 (ASD) 方法，它使用可优化的鉴别器并使用完整的优化目标进行更新。实验证明，所提出的 ASD 在 2D 蒸馏和文本到 3D 任务中表现优异，并将 ASD 扩展到图像编辑任务，获得有竞争力的结果。

    Dec, 2023

  • 高效文本引导的三维感知人像生成：应用得分蒸馏采样于分布

    本研究提出了一种名为 DreamPortrait 的算法，它可以在一个前向传递中生成文本引导下的 3D 感知画像，通过 Score Distillation Sampling 和 GAN 损失正则化方法来优化分布，进一步设计了 3D 感知门控交叉关注机制，生成高效且具有鲁棒的多视图语义一致性的人像。

    Jun, 2023

  • 视觉解释基础（扩展摘要）

    本论文提出了一种新的模型，通过利用在生成的解释中的成分词的本地化接地来确保图像相关性，从而同时生成文本解释和图像。

    Nov, 2017

  • ScaleDreamer: 异步分数蒸馏的可扩展文本到 3D 合成

    通过异步分步衰减噪声的辅助分数精炼以及扩展的计算机视觉模型，我们提出的算法对文本生成三维内容进行了高质量、可扩展的训练和综合，尤其在大型文本数据集下表现出卓越的一致性。

    Jul, 2024