修复偏见:准确无偏图像生成的途径
该论文介绍了一种用于图像修复的新型深度神经网络,该网络包含了一个修复分支和两个辅助分支,能够有效地利用多模式定位和语义信息,实现对各种正 / 不规则图像遮挡的修复,达到了最好的效果。
Aug, 2022
图像修复是将图像中的缺失或故意遮挡部分恢复出来的过程,在现代修复技术中,我们提供了当前主要方法的概述和评估,并着重解决了现有模型在生成过程中缺乏提示和控制能力的问题,并提供了多种实现该功能的方法。最终,通过对生成的高质量图像进行定性检查,我们评估了我们的方法的结果是否能正确地修复指定区域。
Mar, 2024
通过利用分割蒙版数据集和在蒙版内修复的修复模型,我们可以实现自动逆向修复过程,将对象添加到图像中,在没有用户提供的输入蒙版的情况下,提供了一种无缝地根据文本指令添加对象的方法。
Apr, 2024
通过整合先进的生成人工智能(GenAI)和计算机视觉技术,本研究探索了一种综合方法,重点是图像操作。研究的有效性在实验中得到验证,强调了其在生成引人注目内容方面的潜力,使用户能够根据特定提示对个人照片进行服装和背景的修改,无需手动输入修复遮罩,从而有效地将主题植入创意想象的广阔景观中。
Feb, 2024
本文提出了一种基于文本指导的图像编辑系统 Imagen Editor,通过利用对象检测器提出文本提示的修复遮罩并使用高分辨率图像来处理细节来实现忠实于输入文本且与输入图像一致的编辑,并提出一个名为 EditBench 的系统化基准来评估编辑效果。研究发现在训练过程中进行对象遮罩处理,可以显著提高文本与图像的对齐度和整体渲染效果,同时相较于文本渲染而言,这种方法在物体渲染和处理材料 / 颜色 / 大小属性上效果更佳。
Dec, 2022
通过学习潜在空间中的方向并仅修改扩散过程中提供的初始高斯噪声,我们的工作引入了一种新方法,实现多样性和包容性合成图像,这成功地适应了各种去偏差场景,如地理偏差。
Jun, 2024
本文提出一种名为 TDANet 的图像修复模型,其通过文本的描述信息和图像的辅助区域来确定修复区的语义内容,利用双模态注意机制提取出明确的语义信息并应用图像与文本匹配损失,其结果表明,在两个公开数据集上,TDANet 模型在定量和定性评测中均达到了新的最佳水平,并且生成的图像与文本描述一致。
Apr, 2020
本论文提出了一种基于自然语言输入的图像修复算法,名为 Inst-Inpaint,可同时估计要移除的对象,并对其进行修复。为了支持该任务,我们首先构建了一个名为 GQA-Inpaint 的数据集。我们在合成和真实图像数据集上运行了各种 GAN 和扩散基线,使用不同的评估指标比较方法,并展示了显著的定量和定性改进。
Apr, 2023
通过 qualitatively 评估精确生成人脸、群体和指定数量对象的图片,我们不仅检查了多个文本到图像模型的性能,还进行了社会偏见分析。我们发现,容量更大的模型生成的图片质量更高,但同时这些模型也存在固有的性别或社会偏见,从而更全面地了解了它们的影响和局限性。
Jun, 2024
本研究提出了一种新的图像修复方法,结合了神经网络的先验知识和用户的引导,使用自动编码器和语义解码器完成两个阶段,实现对修复结果的自定义控制,实验结果表明该方法在修复质量和可控性方面优于现有方法。
Jan, 2022