我们探索了个性化人脸修复模型的潜力，通过使用扩散模型个性化恢复模型，保留细节的同时实现对身份的量身定制，通过使用独立的可训练模块以充分利用基础恢复模型的丰富先验信息，并通过引入生成规则器来避免模型依赖低质量图像中遗留的身份部分，我们展示了我们的方法在多个真实场景中对多个身份的鲁棒性能，并通过用户研究评估了生成细节的感知质量和忠实度，我们的方法被评为最佳的 61%。

Mar, 2024

本文提出了一种基于 Pivotal Tuning Inversion (PTI) 的人脸编辑方法，通过微调生成器来实现将不在生成器领域内的图像还原为在域内的潜在代码，从而提高人脸编辑的效果和质量。

Jun, 2021

本研究提出一种方法，通过给待恢复的输入图像添加噪声并进行去噪来使预训练的扩散模型自适应于图像恢复任务。方法基于观察到生成模型空间需要受到约束的原则，通过使用一组捕捉输入图像特征的锚点图像对生成模型进行微调，从而实现受约束的空间。我们通过对比以前的方法并在多个真实世界的恢复数据集上展示出卓越的性能，包括保留身份和图像质量。此外，我们还演示了一种在个性化修复上的重要实际应用，其中我们使用个人相册作为锚点图像来约束生成空间。这种方法使我们能够准确地保留高频细节，这是以前的工作所不能实现的。

Dec, 2023

本文提出了一种利用预训练人脸 GAN 中不同先验知识的 GFP-GAN 盲目人脸修复方法，其通过创新的通道分离空间特征变换层将生成式人脸先验纳入人脸修复过程，达到真实性和保真度之间的良好平衡。与 GAN 反演法相比，GFP-GAN 能够通过单个前向传递联合修复面部细节并增强颜色。大量实验表明，我们的方法在合成和实际数据集上比现有技术具有优越的性能。

Jan, 2021

本文介绍了一种有效利用生成对抗网络 (DGP) 捕获的图像先验的方法，它可以恢复各种退化图像中缺失的语义信息，还可以进行多样化的图像操作，通过松弛现有的 GAN 反演方法的假设，允许生成器以渐进的方式进行微调，并在 GAN 中的鉴别器处获得的特征距离作为正则项。这些易于实现和实用的改变有助于保持重构，使其保持在自然图像流形中，从而可以更准确、更忠实地重构真实图像。

Mar, 2020

通过无需调整的方法，本文提出了一种同时利用文本和图像指导的图像定制方法，允许在几秒钟内精确编辑特定图像区域，通过创新的注意力混合策略，本方法在图像定制中表现优异，是一种高效的解决方案。

Mar, 2024

本文提出一种基于无监督学习的生成扩散先验（GDP）方法，采用预训练的去噪扩散生成模型（DDPM）来有效地建模后验分布，并通过优化去噪过程中的退化模型参数来实现盲图像恢复，进一步采用分层引导和基于块的方法，使 GDP 能够产生任意分辨率的图像。实验结果表明，GDP 在各种图像重建质量和感知质量的基准测试中优于当前的领先无监督方法，在各种任务和各种图像大小的数据集上都表现良好。

Apr, 2023

基于用户特定概念和提示创建自定义图像的个性化文本到图像生成技术已崭露头角，但现有方法在个性化方面面临多个挑战。为了解决这些障碍，我们提出了一种创新的方法 - PhotoVerse，在文本和图像领域中融入双分支条件机制，以提供对图像生成过程的有效控制，并引入了面部身份损失作为训练期间增强身份保存的新组件。这一方法消除了测试时间调整的需要，仅依赖于目标身份的单张面部照片，大大减少了与图像生成相关的资源成本。经过单一训练阶段后，我们的方法能够在几秒钟内生成高质量的图像，产生包含各种场景和风格的多样化图像。广泛的评估表明我们的方法具有卓越性能，实现了保存身份和增强可编辑性的双重目标。

Sep, 2023

在计算机视觉领域，生成逼真的说话脸部是一个有趣且长期存在的课题。尽管已经取得了显著的进展，但是生成具有个性化细节的高质量动态脸部仍然具有挑战性。本文提出了一种简单、通用且灵活的神经画廊生成框架 Myportrait，在单目视频中加入个性化先验和三维人脸形变空间的可变先验，在新的可控参数下生成个性化细节。我们的框架支持基于视频和基于音频的面部动画，给定单个人的单目视频。通过测试数据是否发送到训练中，我们的方法提供了实时在线版本和高质量离线版本。广泛的实验证明了我们方法在各个指标上优于最先进方法。代码将公开发布。

Dec, 2023

本文介绍了 MyStyle，这是一种使用少量照片训练的个性化深度生成先验的方法，其可以重建、增强和编辑特定人物的图像，生成的图像忠实于人物的关键面部特征。通过少量照片我们可以调整预训练的 StyleGAN 面部生成器的权重，形成一个本地的、低维的、个性化的流形空间，该流形空间包含与个人不同的各种肖像图片的潜在编码。此外，我们提出了一种统一的方法，将其应用于各种不适定的图像增强问题，例如修复、超分辨率和语义编辑，并取得了优异的定量和定性水平。

Mar, 2022