SmartEdit 是一种基于指令的图像编辑方法，利用多模态大型语言模型（MLLMS）增强理解和推理能力，并通过双向交互模块实现输入图像和 MLLM 输出之间的综合双向信息交互，从而实现更复杂指令下的图像编辑。通过新构建的 Reason-Edit 评估数据集，定量和定性结果表明 SmartEdit 优于先前的方法，为复杂指令 - based 图像编辑的实际应用铺平了道路。

Dec, 2023

本文介绍了一种基于语言的视频编辑任务（LBVE），并提出了一个多模态多级变换器（M^3L）来进行语言指导下的视频编辑，实现了视频感知和语言语义的动态学习，并取得了良好的实验结果和应用前景。

Apr, 2021

自然语言指令与图像编辑相结合，通过改进的数据增加监督信号，使模型能够优于最先进的基线技术，在细粒度物体中心编辑方面取得了显著的改进，同时还能推广到训练过程中未见过的领域。

Oct, 2023

我们提出了一种推理时间编辑优化方法，旨在通过两个专门的损失函数，成功地完成本地图像修改和全局内容一致性保留的竞争子任务，实现文本、姿势和涂鸦等多种编辑指令类型的灵活编辑解决方案，并通过定性和定量实验证明了我们能够实现复杂的编辑。

Nov, 2023

本文提出了一个新的视频描述编辑任务（VDEdit），旨在通过灵活的用户需求自动修订现有的视频描述。为支持 VDEdit 任务，我们首先自动构建了一个大规模基准数据集 VATEX-EDIT，描述了不同的人类活动。考虑到现实生活中的应用场景，我们还手工收集了一个电子商务基准数据集 EMMAD-EDIT。我们提出了一个统一的框架，将操作，位置，属性三元组转化为文本控制序列以处理多粒度的编辑命令，并采用综合性指标评估 VDEdit 功能。

May, 2023

该研究论文通过语言处理和图像处理的组合吸引了越来越多的关注，其中一项最具挑战性的任务是仅基于自然语言指令对图像进行编辑。本论文提出了一种无需准备的方法，通过图像字幕和 DDIM 反演、获取编辑方向嵌入以及图像编辑等三个步骤有效地进行指令引导的图像编辑，该方法在 MAGICBRUSH 数据集上表现出色，优于最新的先进模型。

Mar, 2024

该研究论文介绍了图像编辑推荐任务，通过 Creativity-Vision Language Assistant 的训练和编辑指令数据集的提供，实现了从输入图像和简单提示生成多样创意编辑指令的目标。通过引入新颖的 ' 用于本地化的标记 ' 机制，我们的模型支持全局和局部编辑操作，并证明了其在提供具有魅力的创意元素且与输入图像和用户初始提示高度相关的指令方面的有效性。

May, 2024

InstructAny2Pix 是一个灵活的多模态指令跟踪系统，其由多个组件组成，包括多模态编码器、扩散模型、多模态 LLM 和细化先验模块，能够根据来自音频、图像和文本的指令对输入图像进行编辑，实现了一系列新颖的指令引导编辑任务。

Dec, 2023

该文章提出了一种新的、能够利用文本和视频间的交互，预测起始和结束帧的提取方法，以避免检索和重新排序多个候选段落。使用递归网络将两种模态编码成共同表示，该方法在多项实验和去除分析中表现显著，比现有技术提升了性能。

Apr, 2019

在大型语言模型时代，模型可解释性和模型编辑是关键目标。有趣的是，这两个目标之间存在一种联系：如果一种方法能够针对人类感兴趣的概念有系统地编辑模型行为，这种编辑方法可以通过指向相关表示并系统地操控它们来帮助使内部表示更具可解释性。

Nov, 2023