Nov, 2023

FLAIR：一种有条件的扩散框架及其在人脸视频修复中的应用

PDF
TL;DR提出了一种名为 FLAIR 的条件扩散框架，用于解决人脸视频修复问题，并通过将传统的图像 DPM 转换为视频 DPM，通过递归视频细化层和不同尺度的时间自注意力来确保计算效率方面的时间一致性。FLAIR 还使用条件迭代细化过程来在推理过程中平衡感知和失真质量，包括通过数据一致性模块来确保生成的视频精确匹配观察结果，并通过面部区域的粗到精图像增强模块实现。广泛的实验证明 FLAIR 在视频的超分辨率、去模糊、JPEG 修复和空时帧插值等方面优于当前最先进的方法。
face video restorationdiffusion probabilistic modelsflairtemporal consistencyvideo dpm
发现论文，激发创造
  • DiffBFR：基于自举的扩散模型的盲人脸修复

    本文提出了一种基于扩散概率模型的盲目面部修复方法 DiffBFR，使用身份恢复模块和纹理增强模块实现了对低质量图像的身份还原和纹理细节增强，并通过截断采样保留了更多的原始细节。

    May, 2023

  • 基于扩散的图像修复统一条件框架

    本文提出了一种基于扩散模型的统一条件框架，结合了轻量级 UNet 和固有的差异模型来增强图像恢复的物理约束，采用基本和集成模块实现了对所有块的引导和其他辅助条件信息的整合，并提出了简单而有效的截距补丁分裂策略，将其用于低光量去噪、去模糊和 JPEG 图像恢复的挑战任务中，得到了显著的感知质量提升和恢复任务的推广。

    May, 2023

  • DifFIQA: 使用去噪扩散概率模型进行人脸图像质量评估

    本文提出了一种新的人脸图像质量评估方法 DifFIQA，它基于去噪扩散概率模型（DDPM）的前向和后向过程来评估人脸图像的质量。该方法通过量化 DDPM 造成的扰动对相应图像嵌入的影响，并将其用于质量预测。此外还提出了基于回归的质量预测器 DifFIQA（R），以平衡性能和执行时间。该方法在 7 个数据集上进行了全面的实验，并与 4 个目标 FR 模型和 10 个最先进的 FIQA 技术进行了对比，表现良好。

    May, 2023

  • 走向现实世界的视频人脸修复：一个新的基准

    尽管盲目的人脸修复（BFR）在图像上有了显著进展，但对于更复杂的面部动作（如移动凝视方向和面部朝向）的真实世界视频人脸修复（VFR）问题尚未解决。本研究引入了名为 FOS 的新的真实世界数据集，其中包含来自主要视频帧的 “全面的、遮挡的和侧面的” 面部，以研究当前方法在视频上的适用性。通过与已有测试数据集的比较，FOS 数据集涵盖了更多种类的退化，并涉及来自更复杂场景的人脸样本，从而更全面地重新审视了当前的人脸修复方法。

    Apr, 2024

  • CLR-Face：基于得分驱动扩散模型的盲目人脸修复的条件潜在精细化

    我们提出了一种基于扩散先验的 VQGAN 结构，在学习完整的潜在嵌入分布的同时，迭代地从受损对应物恢复干净嵌入，结合身份恢复网络的输出对逆向扩散过程进行约束，以在潜在空间中实现知觉和保真度的分离，取得最佳性能。

    Feb, 2024

  • 基于视网膜的基础语言 - 图像模型（FLAIR）：通过文本监督编码专业知识

    FLAIR 是一个用于通用视网膜底层图像理解的预训练视觉语言模型，它整合了专家领域知识，具有强大的泛化能力和优于全面训练模型的性能，尤其在少样本情况下，FLAIR 表现出色。

    Aug, 2023

  • FMA-Net: 基于流向引导的动态滤波和多注意力迭代特征精炼的联合视频超分辨率和去模糊

    通过联合学习视频超分辨率和去模糊的方法，本文提出了一种名为 VSRDB 的视频清晰恢复方案，以从模糊的低分辨率视频中还原出干净的高分辨率视频。通过 FGDF 和 FRMA 两个部分构成的 FMA-Net 框架，我们的方法能够精确估计时空变化的退化和恢复内核，并通过迭代特征细化的方式进行多注意力的特征改进。鲁棒的实验证明了本文提出的 FMA-Net 在定量和定性方面优于现有的方法。

    Jan, 2024

  • FRRffusion：基于扩散的人脸修饰还原中的真实性揭示

    通过构建深度 FRR 模型，本研究针对面部修饰逆向问题提出了一种新颖的基于扩散的 FRR 方法（FRRffusion），通过两个阶段的网络生成低分辨率人脸的基本轮廓和高分辨率的面部细节，其在定量和定性评估中都表现出优越性能。

    May, 2024

  • 基于扩散模型的空间与频率感知图像恢复方法

    通过提出具有高斯噪声的空间和频率感知扩散模型 SaFaRI，我们在各种包括修补、降噪和超分辨率在内的有噪反问题上全面评估了模型的性能，结果显示 SaFaRI 在 ImageNet 和 FFHQ 数据集上表现优于现有的零样本 IR 方法，从 LPIPS 和 FID 指标的角度超越了其他模型，实现了最先进的性能。

    Jan, 2024

  • 基于生成扩散先验的面部盲目修复朝真实世界迈进

    本研究探讨了利用预训练的稳定扩散（Stable Diffusion）来进行盲目人脸修复的潜力。我们提出了 BFRffusion，它经过精心设计，能够从低质量的人脸图像中有效提取特征，并能够利用预训练的稳定扩散生成逼真而忠实的面部细节。此外，我们构建了一个平衡了人种、性别和年龄等属性的隐私保护人脸数据集 PFHQ，该数据集可以作为训练盲目人脸修复方法的可行替代品，有效解决了与真实人脸数据集通常相关的隐私和偏见问题。通过一系列广泛的实验，我们证明了我们的 BFRffusion 在盲目人脸修复的合成和真实世界公共测试数据集上达到了最先进的性能水平，而我们的 PFHQ 数据集是训练盲目人脸修复网络的可用资源。 代码、预训练模型和数据集在此 https URL 上发布。

    Dec, 2023