RestoreFormer: 从高质量的未降级键值对中进行盲目面部修复
提出了 RestoreFormer ++,它引入了全空间关注机制来建模上下文信息和先验知识的相互作用,并探索了一个扩展降级模型,以帮助生成更逼真的退化脸部图像以减轻从合成到真实场景的差距。大量实验证实,RestoreFormer ++ 在合成和真实世界数据集上都优于现有算法。
Aug, 2023
本研究提出了一种新型的规模感知的盲目人脸修复模型,名为 FaceFormer,利用 Facial Feature Up-sampling 模块生成动态上采样滤波器以适应不同尺度的脸部输入,并借助于 facial feature embedding 模块利用 transformer 分层提取面部潜在多样性和稳健性,该方法在合成数据集训练得到的结果不仅具有高保真度和鲁棒性,还能泛化至自然低质量图像。
Jul, 2022
提出了一种基于 Transformer 的盲目人脸修复方法 BFRC; 该方法在处理长距离依赖关系方面较传统方法更有效,能够重建保留有身份特征的细节丰富的图像。
Feb, 2024
本研究针对盲目面部修复这一高度不适定问题,通过使用代码预测任务作为修复映射和生成高质量面部的方法,提出了一种名为 CodeFormer 的转换器预测网络,并设计了一个可控的特征转换模块,以增强方法对不同程度降解的适应性。实验结果表明,CodeFormer 在质量和保真度方面均优于现有技术,并对合成和真实情况下的数据集进行了全面验证验证了我们的方法的有效性。
Jun, 2022
基于语义解析的时间相干转换器 (PGTFormer) 的盲视频人脸修复方法在保持时间相干性、生成无瑕疵结果方面表现出色,通过利用语义解析引导选取最优人脸先验生成具备时间相关性的结果,实验表明该方法优于之前的基线方法。
Apr, 2024
我们探索了个性化人脸修复模型的潜力,通过使用扩散模型个性化恢复模型,保留细节的同时实现对身份的量身定制,通过使用独立的可训练模块以充分利用基础恢复模型的丰富先验信息,并通过引入生成规则器来避免模型依赖低质量图像中遗留的身份部分,我们展示了我们的方法在多个真实场景中对多个身份的鲁棒性能,并通过用户研究评估了生成细节的感知质量和忠实度,我们的方法被评为最佳的 61%。
Mar, 2024
ResFormer 框架通过多分辨率训练方法和全局 - 局部位置嵌入策略,在图像分类、目标检测、语义分割和视频动作识别等领域取得了较好的结果。
Dec, 2022
面部修复是图像修复中的一个专业领域,旨在将低质量的面部图像恢复为高质量的面部图像。本论文首先考察了导致真实世界低质量图像的普遍因素,并介绍了合成低质量图像的降质技术。我们还讨论了该领域常用的重要基准,并根据不同任务对面部修复方法进行分类并解释了它们的演化过程。此外,我们探讨了在修复过程中常用的各种面部先验知识,并讨论了增强其有效性的策略。在实验部分,我们使用统一基准全面评估了最先进的面部修复方法在各种任务上的性能,并从不同的角度分析了它们的表现。最后,我们讨论了面部修复领域面临的挑战,并提出了未来发展的潜在方向。本工作的开源代码库可以在 https://github.com/24wenjie-li/Awesome-Face-Restoration 找到。
Sep, 2023
本文介绍了 Uformer - 一种基于 Transformer 的高效图像恢复架构,在其中构建了使用 Transformer 块的分层编码器 - 解码器网络。使用局部增强窗口 (LeWin) Transformer 块和多尺度恢复调制器,Uformer 具有高效捕获局部和全局图像依赖性的能力,可用于多种图像恢复任务,并在实验证明与最先进的算法相比具有卓越的性能。
Jun, 2021
本文提出了一种新的基于问题回答的键值对提取方法 KVPFormer,使用 Transformer 编码器识别关键实体,通过 Transformer 解码器预测对应的答案,并进一步提出了粗细阶段答案预测方法和空间兼容性注意力偏差方法,从而在 FUNSD 和 XFUND 数据集上取得了优于先前最佳方法的 7.2%和 13.2%的 F1 得分,获得最新的结果。
Apr, 2023