Jul, 2024
UltraEdit: 内指令细粒度图像编辑规模化
UltraEdit: Instruction-based Fine-Grained Image Editing at Scale
TL;DR该论文介绍了UltraEdit，一个大规模（约400万编辑样本），自动生成的面向基于指令的图像编辑的数据集。该数据集通过利用大型语言模型的创造性以及人工评定员提供的上下文编辑示例，解决了现有图像编辑数据集如InstructPix2Pix和MagicBrush的缺点，并提供了系统性的方法来生成大规模高质量的图像编辑样本。UltraEdit不仅可以通过扩大编辑指令的范围来进行编辑，还支持基于区域的编辑，并通过高质量的自动生成的区域注释进行增强。实验证明，基于UltraEdit训练的经典扩散式编辑基线在MagicBrush和Emu-Edit基准上取得了新的记录。进一步的分析也证实了真实图像锚点和基于区域的编辑数据的关键作用。该数据集、代码和模型可以在此https URL找到。