Apr, 2024

HQ-Edit：面向基于指令的图像编辑的高质量数据集

PDF
TL;DR本研究介绍了 HQ-Edit，这是一个包含约 200,000 个编辑的高质量基于指令的图像编辑数据集。通过利用先进的基础模型 GPT-4V 和 DALL-E 3，我们构建了一个可扩展的数据收集流程，收集了多样的在线示例，并使用这些示例创建了具有详细文本提示的高质量双联图像，通过后期处理确保了精确的对齐。此外，我们提出了两个评估指标 Alignment 和 Coherence，通过使用 GPT-4V 对图像编辑对的质量进行定量评估。HQ-Edit 的高分辨率图像以及伴随的全面编辑提示大大增强了现有图像编辑模型的能力，例如，经过微调的 InstructPix2Pix 可以达到最先进的图像编辑性能，甚至超过那些使用人工标注数据进行微调的模型。
hq-editimage editingdatasetgpt-4vdall-e 3
发现论文，激发创造
  • SEED-Data-Edit 技术报告：用于教学图像编辑的混合数据集

    SEED-Data-Edit 是一个用于指导图像编辑的独特混合数据集，包括高质量编辑数据、实际场景数据、和多轮编辑数据；使用该数据集对预训练的多模态大型语言模型进行微调，显示了其在指导图像编辑方面的潜力和有效性。

    May, 2024

  • InstructPix2Pix: 学习图像编辑指令

    我们提出了一种图像编辑方法，可以根据用户的书面指令编辑图像，同时我们结合了两个预训练模型的知识生成了大量训练数据，使用训练好的模型可以快速地编辑图像，并且可以适用于不同的输入图像和书面指令。

    Nov, 2022

  • 视觉故事后期制作

    本文介绍了第一个包含 14,905 个人工编辑版本和 2,981 个机器生成的视觉故事的数据集，探讨了如何利用这些人工编辑版本进行后期编辑任务，并建立了基础数据，展示了人类编辑与机器编辑之间的弱相关性关系，从而促进了对新的自动化评估指标的需求。

    Jun, 2019

  • ReasonPix2Pix: 提供高级图像编辑功能的指导推理数据集

    通过引入 ReasonPix2Pix 数据集，同时增强主动推理能力和赋予编辑模型智能化，我们在受过监督训练的条件下优化模型，展示了在需要推理和不需要推理的指令编辑任务中优越的性能。

    May, 2024

  • 利用人类反馈进行指导性视觉编辑的 HIVE

    本文提出了一种新的框架来使用人类反馈来改进指导性视觉编辑，通过学习奖励函数捕捉用户偏好并采用可扩展的扩散模型微调方法以处理数据限制带来的偏见，同时贡献了新的数据集以提升性能。实验证明该方法比之前的最先进的指导图像编辑方法更受欢迎。

    Mar, 2023

  • UHD-IQA 基准数据库：拓宽盲测图像质量评估的界限

    我们介绍了一种新的图像质量评估（IQA）数据集，包括 6073 个高分辨率的 UHD-1（4K）图像，以 3840 像素为固定宽度进行注释。与现有的非参考（NR）IQA 数据集相反，我们的数据集侧重于高度美学且高技术质量的照片，填补了文献中的空白。该数据集通过众包研究获得感知质量评级。经过数天的多个评估者的多次评估，我们得到了高度可靠的标签。我们的数据集具有独特的特点，如注重高质量图像、可靠的众包注释和高分辨率注释，为推进感知图像质量评估研究和开发适用于现代照片的实用非参考 IQA 模型提供了新的机会。

    Jun, 2024

  • 通过规划学习：语言指导的全局图像编辑

    该研究提出了一种基于文本到操作的模型，用于将编辑语言请求转换为一系列可解释且可区分的编辑操作，同时提出了一种操作规划算法以生成从目标图像中的伪地面真实性中可能的编辑序列。

    Jun, 2021

  • iEdit: 弱监督下的本地化文本指导图像编辑

    提出了一种新的学习方法 iEdit，用于文本引导的图像编辑，包括数据集的自动构建、无监督损失函数和分割掩模引导编辑。该模型在 200K 个样本的数据集上进行训练，并在图像保真度、CLIP 对齐性得分和编辑生成和真实图像方面显示出优越的结果。

    May, 2023

  • 在生成 AI 革命时代重新思考图像编辑检测

    构建了 GRE 数据集，该数据集包括原始图片和使用多个大型模型进行编辑的多种编辑方式，旨在推动生成区域编辑检测领域的进一步研究和探索。

    Nov, 2023

  • WikiIns：一个高质量的数据集，用于通过自然语言指令进行受控文本编辑

    本论文研究了通过自然语言指令进行受控文本编辑的问题，并建立了高质量的 WikiIns 数据集以解决现有数据集的信息不足的问题。通过预处理维基百科编辑历史数据库，并进行众包验证和测试，以及小规模训练集的构建，还提出自动生成大规模 “银” 训练集的自动方法。通过对 WikiIns 数据集的分析和实验结果，可以促进文本编辑领域的研究。

    Oct, 2023