提出了一种名为 MasaCtrl 的调整无需微调的方法，能够同时实现一致的图像生成和复杂的非刚性图像编辑。具体来说，该方法将扩散模型中的自我注意力转换为相互自我注意力，以便对源图像进行一致的局部内容和纹理查询。同时，还提出了一种掩码引导的相互关注策略，可减轻前景和背景之间的查询混乱。大量实验证明，该方法可以在一致的图像生成和复杂的非刚性真实图像编辑方面产生令人印象深刻的结果。

Apr, 2023

提出了一种名为 Tuning-free Inversion-enhanced Control (TIC) 的新方法，通过直接关联反演过程和采样过程的特征来缓解 DDIM 重建中的不一致性，实现准确的重建和内容一致性编辑。通过实验证明，该方法在重建和一致性编辑方面优于以前的工作，在各种设置中产生了令人印象深刻的结果。

Dec, 2023

通过无需调整的方法，本文提出了一种同时利用文本和图像指导的图像定制方法，允许在几秒钟内精确编辑特定图像区域，通过创新的注意力混合策略，本方法在图像定制中表现优异，是一种高效的解决方案。

Mar, 2024

通过操作注意力模块，而不需要微调，我们揭示了一种将图像自我注意力和合成内容和参考特征之间的交叉注意力进行线性插值的流行方法的机制，并提出了一种简化的可控生成机制，名为 RefDrop，它能够直接而精确地控制参考上下文的影响，提高图像生成和视频生成的一致性并允许更多有趣的应用。

May, 2024

控制可视生成的一个新框架 ControlVAR，通过像素级控制在视觉自回归建模中实现灵活高效的条件生成

Jun, 2024

研究以个性化图像为导向使用扩散模型生成的技术，并提出了用于快速个性化生成的插入式模块 ViCo，包括图像注意力模块和基于文本图像注意力地图的正则化方法。其不需要微调原始扩散模型的参数，但能达到目前同类模型的最佳表现。

Jun, 2023

通过扩散模型进行新视图合成表现出了出色的潜力，然而这些常见方法中图像生成的独立过程导致在保持多视图一致性方面存在挑战。为了解决这个问题，我们引入了 ViewFusion，这是一种新颖的、无需训练的算法，可以无缝地集成到现有的预先训练好的扩散模型中。我们的方法采用自回归的方式，隐含地利用之前生成的视图作为下一个视图生成过程的上下文，确保在新视图生成过程中具有稳健的多视图一致性。通过通过插值去噪将已知视图信息融合到扩散过程中，我们的框架成功地将单视图条件模型扩展为能在多视图条件设置下工作，无需额外的微调。广泛的实验结果表明 ViewFusion 在生成一致且详细的新视图方面的有效性。

Feb, 2024

使用预训练的图像修复扩散模型，通过替换自注意力模块以创建帧级依赖关系，我们提出了一种编辑视频的方法，以确保编辑信息在所有视频帧中保持一致，从而在对象重定向、对象替换和对象移除等多个视频编辑任务中展示了该策略的卓越性能。

Jun, 2024

本文介绍了一种新的简单而实用的任务设置：局部控制，它通过用户定义的图像条件在特定的局部区域进行控制，其余区域仅通过原始文本提示进行调节。我们提出了一种无需训练的方法，利用去噪过程中噪声潜变量和参数的更新，在交互注意力图中促进非控制区域的概念生成。此外，我们使用特征屏蔽约束解决局部控制区域内外信息差异导致的合成图像质量下降问题。广泛的实验表明，我们的方法可以在局部控制条件下合成出高质量的图像。

Dec, 2023

本文提出了一个自监督学习的方法，通过深度引导的调整过程，利用变换自编码器的网络结构，在只有 2D 图像和相关视角变换的情况下精确合成高质量的 3D 对象或场景的新视角，并实现了细粒度和精密的六自由度视角控制。通过在合成和真实场景以及精细和固定视角设置下的彻底评估，证明了该方法的广泛适用性。

Jan, 2019