图像重建与合成的焦点频率损失
本研究提出了引导频率损失(GFL)方法,通过聚合 Charbonnier 组件、拉普拉斯金字塔组件和渐进频率组件,有助于在图像频率内容和空间内容之间平衡地学习,通过对超分辨率和降噪任务的实验发现,GFL 损失方法在大多数实验中提高了 PSNR 指标,并且在 SwinIR 和 SRGAN 的超分辨率模型的训练中也取得了改善。
Sep, 2023
本文提出一种基于傅里叶域的感知质量强化的超分辨率图像重建方法,利用新型 Loss Function 提升低复杂度生成器网络的表现,以及在空间域和傅里叶域均应用不同 Loss Function 以提取不同信息。最终得出与 RankSRGAN 和 SRFlow 等最先进感知超分辨率方法相当的结果,并且比这些方法快 2.4 倍至 48 倍不等。
Jun, 2021
提出了 WaveGAN,一种面向少样本图像生成的频率感知模型,通过对多个频率组件的编码特征进行解耦,并通过低频跳过连接和高频跳过连接来生成高质量的图像,实验证明其在三个数据集上均取得了最先进的效果。
Jul, 2022
本文提出了一种名为 “Fre-GAN” 的神经音源模型,通过分辨率连接生成器和分辨率智能的鉴别器,在多个频带中学习各种尺度的频谱分布,有效地实现高保真频率一致性音频合成,并在质量和 MOS 上优于标准模型。
Jun, 2021
该研究论文引入了一种新颖且简单的频率分布损失(FDL)来解决深度学习图像转换方法中常见的问题,通过在频率域内计算分布距离来克服依赖像素级准确对齐的配对数据集所带来的挑战,并证明了 FDL 相比现有的鲁棒性较差的损失函数在图像增强和超分辨率任务中的优越性。
Feb, 2024
通过频域学习提高深伪造图像检测器的泛化性能,包括使用频率级别的伪造检测方法和一个特定设计的频域学习模块,实现了先进的性能 (+9.8%),并且所需参数更少。
Mar, 2024
本文提出了一种用于增强 VQ-VAE 结构的频率补全模块 (Frequency Complement Module, FCM),并且引入了一种动态频谱损失 (Dynamic Spectrum Loss, DSL),用于引导 FCM 动态地平衡频率以获得最佳重建。FA-VAE 进一步扩展到了文本到图像合成任务中,并提出了交叉注意力自回归变换器 (Cross-attention Autoregressive Transformer, CAT) 以获得更精确的文本语义属性。通过在几个基准数据集上进行广泛的重建实验,并与其它最先进的方法进行比较,结果表明,所提出的 FA-VAE 能够更忠实地恢复细节。CAT 在图像文本语义对齐方面也显示出了更好的生成质量。
May, 2023
通过修改变分自编码器的重构项,引入傅里叶变换和局部相位一致性的损失函数,解决生成样本模糊性问题,并在 MNIST 数据集上提供了定性和定量结果。
Jan, 2024
通过对生成对抗性网络的频域进行分析,我们发现生成的 Deep fake images 在这一领域会展现出一些严重的瑕疵,通过这些瑕疵可以自动识别出 deep fake images, 超越了现有的最先进方法。
Mar, 2020