Apr, 2024

负责任的视觉编辑

PDF
TL;DR本研究探索了将有害图像转化为负责任的图像的新任务，并提出了一种名为 Cognitive Editor 的模型，通过两个认知阶段的过程来提高其性能。研究还创建了一个名为 AltBear 的数据集，用泰迪熊代替人类来表达有害信息。实验结果表明，Cognitive Editor 在理解复杂场景中的抽象概念方面表现出色，并在负责任的视觉编辑方面明显优于基线模型。
visual synthesisresponsible visual editingcognitive editoraltbear datasetcomplex scenes
发现论文，激发创造
  • 扩散模型中的统一概念编辑

    文本到图像模型存在各种安全问题，先前的方法分别解决了偏见、版权和冒犯内容问题，但在实际环境中，所有这些问题同时出现在同一个模型中。我们提出了一种能够一次性处理所有问题的方法，名为统一概念编辑（UCE），通过一个闭合解而无需训练来修改模型，并可无缝扩展到对文本条件扩散模型的并发修改。我们演示了通过编辑文本到图像投影来实现可扩展的同时去偏、擦除风格和内容审查，并通过大量实验证明了相对于之前工作的改进效果和可伸缩性。我们的代码可在此 https URL 中获取。

    Aug, 2023

  • 大规模基于记忆的模型编辑

    介绍了一种基于 Semi-Parametric Editing with a Retrieval-Augmented Counterfactual Model (SERAC) 的模型编辑方法，具备内存高、编辑表达能力强的特点，能够高效地处理基于问答、事实核查和对话生成的 3 种具有挑战性的语言模型编辑问题。

    Jun, 2022

  • 在生成 AI 革命时代重新思考图像编辑检测

    构建了 GRE 数据集，该数据集包括原始图片和使用多个大型模型进行编辑的多种编辑方式，旨在推动生成区域编辑检测领域的进一步研究和探索。

    Nov, 2023

  • RadEdit: 通过扩散图像编辑对生物医学视觉模型进行压力测试

    使用生成图像编辑来模拟数据集变化并诊断生物医学视觉模型的故障模式，无需额外的数据收集即可评估模型的鲁棒性。

    Dec, 2023

  • 生成模型内容审查的安全性与公正性

    本研究提出了一个理论框架来对文本到图像生成技术进行负责任的内容管理，其中包括了定义并区分了安全、公平和度量公平的概念，并且详细列举了可能出现的伤害案例，并提供了如何量化所定义的危害的实证演示，用数据驱动的内容管理决策来实现量化危害的操作。

    Jun, 2023

  • 视觉故事后期制作

    本文介绍了第一个包含 14,905 个人工编辑版本和 2,981 个机器生成的视觉故事的数据集，探讨了如何利用这些人工编辑版本进行后期编辑任务，并建立了基础数据，展示了人类编辑与机器编辑之间的弱相关性关系，从而促进了对新的自动化评估指标的需求。

    Jun, 2019

  • 基于优化的多模态语义图像编辑

    我们提出了一种推理时间编辑优化方法，旨在通过两个专门的损失函数，成功地完成本地图像修改和全局内容一致性保留的竞争子任务，实现文本、姿势和涂鸦等多种编辑指令类型的灵活编辑解决方案，并通过定性和定量实验证明了我们能够实现复杂的编辑。

    Nov, 2023

  • ViCE！在图像生成评估中模仿人类的认知行为

    通过模拟人类认知过程，我们提出了一种新的自动化的视觉概念评估方法（ViCE），用于评估生成 / 编辑的图像与相应提示 / 说明之间的一致性，并为图像评分。虽然这种模拟人类在图像评估过程中的新假设正处于初步评估阶段，但结果令人鼓舞，并为一种新形式的自动评估打开了大门，这将在图像生成或图像目标编辑任务变得越来越复杂时产生重要影响。

    Jul, 2023

  • InstructGIE: 通向通用图像编辑的探索

    一个新的图像编辑框架，通过增强上下文学习能力和统一语言指导以提高泛化鲁棒性，利用 VMamba Block 和编辑偏移匹配策略来增强图像编辑任务的能力，并结合选择性区域匹配技术和语言统一技术来改善生成图像的质量，同时提供第一个利用视觉提示和编辑指导的图像编辑数据集来提高上下文能力。

    Mar, 2024

  • 模型编辑用于社会去偏倚的潜力和挑战

    大型语言模型具有刻板印象偏见，模型编辑方法能够缓解这一问题，本研究通过综合性研究从多个角度评估了七种模型编辑算法在刻板偏见消除中的潜力和挑战，同时提出了两种简单有效的方法以提升刻板偏见的编辑效果。

    Feb, 2024