基于距离加权的 Transformer 网络用于图像补全

Oct, 2023

基于距离加权的 Transformer 网络用于图像补全

Distance-based Weighted Transformer Network for Image Completion

Pourya Shamsolmoali, Masoumeh Zareapoor, Huiyu Zhou, Xuelong Li, Yue Lu

TL;DR本文提出了一种新的架构，利用基于距离加权变换器的方法 (DWT) 来更好地理解图像组成部分之间的关系，并结合卷积神经网络 (CNNs) 和 DWT 块的优势来增强图像完成过程，通过编码全局依赖并计算基于距离加权的特征图，有效减少了视觉的歧义问题。同时，引入了残差快速傅里叶卷积 (Res-FFC) 块来结合编码器的跳跃特征与生成器提供的粗糙特征，进一步改进了对重复纹理的生成，同时还提出了一种简单有效的技术来归一化卷积的非零值，并通过细调网络层来规范梯度范数，提供了一个高效的训练稳定器。通过在三个具有挑战性的数据集上进行广泛的定量和定性实验，证明了我们提出的模型相比现有方法的优越性。

Abstract

The challenge of image generation has been effectively modeled as a problem of structure priors or transformation. However, existing models have unsatisfactory performance in understanding the global input image

image generation structure priors self-attention distance-based weighted transformer image completion

发现论文，激发创造

基于离散小波变换的卷积神经网络的详细密集推断

该论文提出了一种基于 CNN 编码器 - 解码器结构的 WCNN，并在城市景观数据集上进行了实验，结果表明它能够有效地进行高分辨率密集像素预测并提高准确性。

Aug, 2018

基于 Transformer 的高保真多元图像完成

该论文提出了一种结合 transformer 和卷积神经网络的图像补全方法，可实现丰富的多样性和高保真度，普适性强。

Mar, 2021

窗口化注意力在图像压缩中的应用

本文提出了一种基于 Transformer 和注意力机制的对称变压器框架，其中融合了局部感知机制和全局相关特征学习，在图像压缩方面表现出更好的效果。

Mar, 2022

特征交互加权混合网络实现高效图像超分辨率

本文介绍了一种用于单张图像超分辨率重建的神经网络模型 FIWHN，通过将 WDIB 组成 FSWG、WCRW 和 WIRW 单元、WRDC 框架和 SCF 单元等方式，解决了模型复杂度高、中间特征丢失等问题，并引入了 Transformer，实现了 CNN 和 Transformer 的新型组合，结果表明 FIWHN 能够在性能和效率之间取得良好的平衡，更有利于下游任务解决低像素场景中的问题。

Dec, 2022

DRCT：拯救图像超分辨率技术摆脱信息瓶颈

通过在层间添加密集残差连接以减少空间信息的丢失，我们提出了 Dense-residual-connected Transformer (DRCT) 模型，提高了视觉变换和超分辨率任务的性能。

Mar, 2024

使用深度学习进行语义图像补全和增强

本文提出了一种深度学习架构，使用生成对抗网络 (Wasserstein GAN architecture) 完成损坏、缺失图像的修复与增强，实验结果表明该方法相对于最近报道的结果，峰值信噪比和结构相似度指数提高了 2.45% 和 4%。

Nov, 2019

WaveMix: 图像资源高效的 Token 混合

WaveMix 是一种采用多尺度 2D 离散小波变换 (DWT) 进行空间令牌混合的替代神经架构，与卷积神经网络 (CNNs) 和 ViTs 相比，在多个数据集上表现出了与它们相当甚至更好的泛化性同时需要更少的计算和存储

Mar, 2022

WiTUnet：一种融合 CNN 和 Transformer 的 U 形架构，用于改善特征对齐和本地信息融合

本文介绍了一种名为 WiTUnet 的新型 LDCT 图像去噪方法，该方法利用嵌套的密集跳跃路径代替传统的跳跃连接来改进特征整合，同时在编码器和解码器中增加了局部图像感知增强 (LiPe) 模块以提高局部特征捕获和表示能力；通过广泛的实验比较，WiTUnet 在峰值信噪比 (PSNR)、结构相似度 (SSIM) 和均方根误差 (RMSE) 等关键指标上表现出优越的性能，显著提高了去噪和图像质量。

Apr, 2024

RFR-WWANet: 基于加权窗口注意力的恢复特征分辨率网络用于无监督图像配准

提出了一种名为 RFR-WWANet 的无监督可形变图像配准模型，使用了 RFRNet 和 WWA 设计以优化 Swin transformer，实现更精细的空间信息建模和语义关联，取得了明显的性能优势。

May, 2023

基于小波的 CNN 用于噪声鲁棒性图像分类

本文研究如何通过离散小波变换（DWT）代替传统的 max-pooling，strided-convolution 和 average-pooling 来提高卷积神经网络（CNN）的抗噪性能，并设计了 WaveCNets 来进行图像分类，实验证明 WaveCNets 相比于 VGG，ResNets 和 DenseNet 等传统版本具有更好的噪声鲁棒性和准确性。

May, 2020