Oct, 2023

复杂图像生成 SwinTransformer 网络用于音频降噪

PDF
TL;DR将音频降噪问题转化为图像生成任务，通过复杂图像生成 SwinTransformer 网络捕获更多的信息，使用结构相似性和详细损失函数生成高质量图像并最小化去噪音频和干净音频之间的差异，实验证明该模型优于现有方法。
audio denoisingtime-frequency methodsimage generationswintransformer networksdr loss
发现论文，激发创造
  • 基于 Swin-Conv-UNet 和数据合成实现的实用式盲去噪

    本文旨在从网络架构设计和训练数据合成的角度解决当前真实图像去噪的问题，提出了一种新的网络架构设计和噪声退化模型，分别插入到 UNet 框架中从而达到当前最先进的性能水平。

    Mar, 2022

  • 基于 SNR-Aware Swin Transformer 的无监督低光图像增强技术

    本文提出了一种基于 Swin Transformer 的双分支网络，以信噪比先验图为指导，利用无监督学习构建优化目标，实现低光图像增强，并在实验中取得竞争性的结果。

    Jun, 2023

  • SwinIR：使用 Swin Transformer 进行图像恢复

    本研究提出了一种基于 Swin Transformer 的强基线模型 SwinIR，用于图像恢复，通过对三种典型任务进行实验（图像超分辨率、图像降噪和 JPEG 压缩），实验结果表明，SwinIR 在不同任务上的表现比最先进的方法提高了至多 0.14~0.45dB，同时可以将参数总数减少高达 67%。

    Aug, 2021

  • DPATD: 双阶段音频变压器降噪

    通过利用较小的音频块作为输入，我们提出了一种名为 DPATD 的双相音频变压器模型，该模型组织了一个深层结构的变压器层以学习用于降噪的清洁音频序列。广泛的实验证明我们的模型优于现有技术方法。

    Oct, 2023

  • 基于 Transformer 和公平训练的轻量级单图像去噪探索

    本研究提出七种轻量级去噪变压器网络，并探讨基于裁剪的数据增强对其训练的重要性，这有助于在实际应用中更高效地去除数字设备固有的噪声并提高视觉识别能力。

    Apr, 2023

  • 面向现实世界图像的上下文感知变压器自监督图像去噪

    本文提出了一种新颖的 Denoise Transformer 算法，其中包括 CADT 单元和 SNE 块，通过二者的结合构建分层网络，直接利用残差学习获取噪声分布信息，进而形成最终的去噪输出。实验证明，该算法在传统深度学习方法中具有更好的性能和岩石文本以及低光图像，而不需要关于噪声级别或类型的任何先前知识。

    Apr, 2023

  • StyleSwin：基于 Transformer 的 GAN 用于高分辨率图像生成

    本文研究探索类似于 pure transformers 的 GAN 架构来进行高分辨率图像合成，并提出了基于 Swin transformer 和本地化的 Local Attention 的 StyleSwin 生成器。在高分辨率合成过程中，采用双重注意力机制来改善生成质量、有效地抑制块状伪影，并证明了 transformers 在高分辨率图像生成方面的可用性。

    Dec, 2021

  • 基于 Swin Transformer UNet 的地面图像去模糊

    借助基于 Swin Transformer 结构的 deep learning 方法进行恢复图像分辨率的研究，提出了一种具有先进的稀疏小波框架的三步解卷积框架，与传统的 Firedec 算法相比，我们的方法在恢复分辨率、适应不同噪声特性和计算效率方面展示出巨大优势，对于从地面图像中识别远程宇宙中的结构具有很大的潜力。

    May, 2024

  • 视觉回声：简单统一变压器用于音视频生成

    通过使用简单轻量级的生成型 Transformer 模型，本论文在图像到音频生成任务上取得了更好的性能，同时也可用于音频到图像生成和协同生成。

    May, 2024

  • SwinIA: 自监督盲点图像去噪技术 - 零卷积

    本文提出了一种基于 Swin Transformer 的 Image Autoencoder（SwinIA），用于自监督图像去噪，无需像素掩蔽，不需要任何关于噪声分布的先验知识，可以用简单的均方误差损失进行端到端训练，且在多个常见基准测试中均取得了最先进的性能。

    May, 2023