使用程序合成的批量图像处理 (ImageEye)

Apr, 2023

使用程序合成的批量图像处理 (ImageEye)

ImageEye: Batch Image Processing Using Program Synthesis

Celeste Barnaby, Qiaochu Chen, Roopsha Samanta, Isil Dillig

TL;DR本文介绍了一种新的基于综合的批量图像处理方法，通过利用预训练神经网络和其他语言构造使得对象级别的编辑成为可能，并提出了一种 neuro-symbolic DSL 语言，该方法能够自动学习这种语言，并在该方法的工具 ImageEye 上进行实现并评估，结果显示 ImageEye 能够自动完成 96% 的图像编辑任务。

Abstract

This paper presents a new synthesis-based approach for batch image processing. Unlike existing tools that can only apply global edits to the entire image, our method can apply fine-grained edits to individual objects within the image. For example, our method can selectively blur or crop specific objects that have a certain property. To facilitate such fine-g

batch image processing fine-grained image editing neuro-symbolic dsl synthesis algorithm imageeye

发现论文，激发创造

通过多跳指令进行图像操作 -- 新数据集和弱监督的神经符号化方法

本篇研究提出一种名为 NeuroSIM 的系统，使用基于领域特定语言 (DSL) 的符号程序将自然语言文本转化为图像操作，实现多模态空间的复杂推理，仅需要视觉问题回答（VQA）的标注数据即可。实验证明，该系统在图像操作方面表现出与已有的监督式数据基准相媲美或胜过的结果。

May, 2023

图像综合的观察条件集成

本文介绍了一种整合视点信息以增强图像处理任务控制的开创性框架，通过对现有对象编辑方法的调查，提炼出一种图像编辑方法应满足的三个关键标准：一致性、可控性和协调性。与以往方法相比，我们的方法在满足所有三个要求方面处于领先地位，通过全面的实验，在多个维度上提供了我们框架卓越表现的有力证据，为推动图像合成技术的发展和强化精确对象修改提供了有希望的途径，同时保持整个构图的视觉一致性。

Oct, 2023

Pix2Pix-OnTheFly：借助 LLMs 实现指导图像编辑

该研究论文通过语言处理和图像处理的组合吸引了越来越多的关注，其中一项最具挑战性的任务是仅基于自然语言指令对图像进行编辑。本论文提出了一种无需准备的方法，通过图像字幕和 DDIM 反演、获取编辑方向嵌入以及图像编辑等三个步骤有效地进行指令引导的图像编辑，该方法在 MAGICBRUSH 数据集上表现出色，优于最新的先进模型。

Mar, 2024

通过规划学习：语言指导的全局图像编辑

该研究提出了一种基于文本到操作的模型，用于将编辑语言请求转换为一系列可解释且可区分的编辑操作，同时提出了一种操作规划算法以生成从目标图像中的伪地面真实性中可能的编辑序列。

Jun, 2021

用于神经程序合成的合成数据集

本文旨在探索自动生成指定语言中的程序，依据输入输出行为生成程序，我们提出了一种新的方法来控制和评估合成数据分布的偏差，通过在 Karel 和小型计算器 DSL 上的实验表明，使用这些分布训练深度网络可以提高跨分布的泛化性能。

Dec, 2019

InstructGIE: 通向通用图像编辑的探索

一个新的图像编辑框架，通过增强上下文学习能力和统一语言指导以提高泛化鲁棒性，利用 VMamba Block 和编辑偏移匹配策略来增强图像编辑任务的能力，并结合选择性区域匹配技术和语言统一技术来改善生成图像的质量，同时提供第一个利用视觉提示和编辑指导的图像编辑数据集来提高上下文能力。

Mar, 2024

学习忠实地遵循以物体为中心的图像编辑指令

自然语言指令与图像编辑相结合，通过改进的数据增加监督信号，使模型能够优于最先进的基线技术，在细粒度物体中心编辑方面取得了显著的改进，同时还能推广到训练过程中未见过的领域。

Oct, 2023

批量交互式图像编辑的一次编辑

本文介绍了一种使用 StyleGAN 作为介质的交互批量图像编辑的新方法，通过用户在示例图像中指定的编辑（例如，使面部正面），我们的方法可以自动将该编辑转移到其他测试图像，以便无论它们的初始状态（姿势）如何，它们都能达到相同的最终状态（例如，都正面朝向），实验证明我们的方法在进行编辑时与现有的单图像编辑方法具有类似的视觉质量，同时具有更多的视觉一致性，并且节省了大量的时间和人力。

Jan, 2024

基于优化的多模态语义图像编辑

我们提出了一种推理时间编辑优化方法，旨在通过两个专门的损失函数，成功地完成本地图像修改和全局内容一致性保留的竞争子任务，实现文本、姿势和涂鸦等多种编辑指令类型的灵活编辑解决方案，并通过定性和定量实验证明了我们能够实现复杂的编辑。

Nov, 2023

通过程序合成学习神经符号生成模型

本文介绍了一种使用程序表示全局结构的生成模型和利用程序综合生成训练数据的框架，可显著改善生成和补全具有全局结构的图像。

Jan, 2019