基于 Transformer 和公平训练的轻量级单图像去噪探索

Apr, 2023

基于 Transformer 和公平训练的轻量级单图像去噪探索

Exploration of Lightweight Single Image Denoising with Transformers and Truly Fair Training

Haram Choi, Cheolwoong Na, Jinseop Kim, Jihoon Yang

TL;DR本研究提出七种轻量级去噪变压器网络，并探讨基于裁剪的数据增强对其训练的重要性，这有助于在实际应用中更高效地去除数字设备固有的噪声并提高视觉识别能力。

Abstract

As multimedia content often contains noise from intrinsic defects of digital devices, image denoising is an important step for high-level vision recognition tasks. Although several studies have developed the deno

image denoising transformers high-level vision recognition memory-efficient fair training

发现论文，激发创造

基于掩膜图像训练的通用深度图像去噪技术

本文提出了一种蒙版训练的方法，通过遮盖输入图像的随机像素并在训练期间重建丢失的信息，同时遮盖自注意力层中的特征以避免训练 - 测试不一致性的影响，从而提高了去噪网络的泛化能力。

Mar, 2023

面向现实世界图像的上下文感知变压器自监督图像去噪

本文提出了一种新颖的 Denoise Transformer 算法，其中包括 CADT 单元和 SNE 块，通过二者的结合构建分层网络，直接利用残差学习获取噪声分布信息，进而形成最终的去噪输出。实验证明，该算法在传统深度学习方法中具有更好的性能和岩石文本以及低光图像，而不需要关于噪声级别或类型的任何先前知识。

Apr, 2023

复杂图像生成 SwinTransformer 网络用于音频降噪

将音频降噪问题转化为图像生成任务，通过复杂图像生成 SwinTransformer 网络捕获更多的信息，使用结构相似性和详细损失函数生成高质量图像并最小化去噪音频和干净音频之间的差异，实验证明该模型优于现有方法。

Oct, 2023

EWT: 单幅图像去噪高效小波变换器

提出了一种高效的小波变换器 (Efficient Wavelet Transformer，EWT) 方法，使用离散小波变换 (DWT) 和反小波变换 (IWT) 降采样和升采样以实现图像降噪。同时，还提出了一种新颖的双流特征提取块 (DFEB) 来在不同的级别提取图像特征，缩短模型推断时间和 GPU 存储器使用量。实验证明，该方法提高了原始 Transformer 的速度超过 80%，减少了 GPU 存储器使用量超过 60%，并取得了良好的去噪结果。

Apr, 2023

预训练图像处理 Transformer

本论文主要研究了低层级计算机视觉任务（如去噪、超分辨率和去雨等），并开发了一种新的预训练模型 —— 图像处理变压器（IPT），通过 ImageNet 基准测试产生大量的损坏图像对，训练 IPT 模型并成功地在不同的图像处理任务上产生了良好的结果。

Dec, 2020

WiTUnet：一种融合 CNN 和 Transformer 的 U 形架构，用于改善特征对齐和本地信息融合

本文介绍了一种名为 WiTUnet 的新型 LDCT 图像去噪方法，该方法利用嵌套的密集跳跃路径代替传统的跳跃连接来改进特征整合，同时在编码器和解码器中增加了局部图像感知增强 (LiPe) 模块以提高局部特征捕获和表示能力；通过广泛的实验比较，WiTUnet 在峰值信噪比 (PSNR)、结构相似度 (SSIM) 和均方根误差 (RMSE) 等关键指标上表现出优越的性能，显著提高了去噪和图像质量。

Apr, 2024

通向普适低光原始噪声合成与建模

通过使用生成模型来综合信号独立噪声，该方法可以同时学习不同 ISO 级别的噪声特性，并在各种传感器上进行泛化，通过傅里叶变换鉴别器准确区分噪声分布，验证结果显示该模型产生的噪声分布与实际噪声非常相似，对不同传感器进行去噪实验显示该方法在各个方面优于现有技术。

Jul, 2023

用于嘈杂图像分类的处理学习变压器

本研究提出了一种基于因果可变推理的 Transformer 架构 ——Treatment Learning Transformer（TLT），用于图像分类任务中噪声数据的处理，能够较好地处理来自于各种噪声源的图像，从而提高预测准确性。

Mar, 2022

MobileUtr: 重访轻量级 CNN 和 Transformer 之间的关系，用于高效的医学图像分割

轻量级视觉转换 (ViT) 在高效医学图像分割中的应用挑战，本研究重新关注了 CNN 和 Transformer 在轻量级医学图像分割中的关系，并提出了一种融合两者优势的基础架构设计，实现了有效的医学图像分割模型 (MobileUtr)。在五个公开医学图像数据集上的广泛实验验证了 MobileUtr 的优越性，同时具备更轻的权重和更低的计算成本。

Dec, 2023

NoiseTrans：基于 Transformer 的点云去噪

本文提出了一种基于 Transformer 编码器结构的点云去噪模型 NoiseTrans，通过自注意力机制以及本地点云注意力和稀疏编码等技术，将嘈杂的点云转换成干净的点云，实验结果显示该模型在各种数据集和噪声环境中优于现有技术。

Apr, 2023