ICMLMay, 2024

图像超分辨率中的低通滤波行为探究

PDF
TL;DR本文探索了在图像超分辨率中，深度神经网络的行为的解释及分析方法，介绍了 `the sinc phenomenon' 现象以及提出的 Hybird Response Analysis (HyRA) 方法，并引入了一个用于图像任务的评估指标 Frequency Spectrum Distribution Similarity (FSDS)。
deep neural networksimage super-resolutioninterpretationhybird response analysisfrequency spectrum distribution similarity
发现论文，激发创造
  • 快速图像超分辨率的频域神经网络

    本文介绍了一种基于频域卷积定理的神经网络用于图像超分辨率，该网络采用 Hartley 变换作为替代傅里叶变换消除复数，具有很高的计算效率，并能适用于在计算机视觉和图像处理等其他领域中通常使用频域表示的问题。实验证明，该网络比文献中其他替代品的速度快 1 到 2 个数量级，性能损失微不足道。

    Dec, 2017

  • 基于 SincNet 的可解释卷积滤波器

    本研究提出了一种新的卷积神经网络模型 ——SincNet，该模型可用于直接处理从原始波形中提取的语音，通过使用参数化 sinc 函数，鼓励第一层学习更有意义的滤波器，学习带通滤波器的低高截止频率可以从数据中直接进行，该模型比标准 CNN 模型具有更快的收敛速度，更好的性能和更好的可解释性，这在说话人识别和语音识别方面得到了很好的实验验证。

    Nov, 2018

  • 用神经架构搜索实现快速、精确和轻量级的超分辨率处理

    使用神经架构搜索的多目标方法能够在以 FLOPS 为指标的量化实验中优于现有方法，以在资源受限条件下平衡模型的简单度和修复能力。

    Jan, 2019

  • 图像超分辨率反馈网络

    本研究介绍了一种利用循环神经网络中隐藏状态和反馈机制进行图像超分辨率的新方法，该方法在多种图像降质情况下具有优越性能，并进行了课程学习来适应更复杂的任务。

    Mar, 2019

  • 神经网络的频谱偏差

    通过傅里叶分析的工具，表明深度 ReLU 网络偏向于低频函数，且随数据流形复杂性的增加，学习高频函数变得更容易，但参数扰动会影响频率成分的鲁棒性和精确表达。

    Jun, 2018

  • 基于像素感知的深度函数混合网络用于光谱超分辨率

    提出了一种基于像素的深度函数混合网络，其中包括一种新的模块，称为函数混合（FM）块，用于光谱超分辨率，以确定每个像素的接受域大小和映射函数，并使用 late-stage 的中间特征增强了性能，在三个基准 HSI 数据集上验证其优越性。

    Mar, 2019

  • 具有可学习的频率感知丢失先验的分层神经运算器变压器用于任意尺度超分辨率

    本研究提出了一种任意尺度的超分辨率方法，用于提高科学数据的分辨率；基于算子学习，使用分层神经算子和自注意机制，利用 Sinc 滤波器实现不同层级之间的信息传递，并引入可学习的先验结构动态调整像素贡献权重，从而有效平衡模型中的梯度；在多个领域的不同数据集上进行了大量实验证明相对于最先进的方法，本方法有着持续的改进。

    May, 2024

  • 基于异构动态卷积神经网络的图像超分辨率

    通过异构动态卷积网络来实现图像超分辨率，该网络能够有效地提取上下文信息和结构信息以改善图像超分辨效果。

    Feb, 2024

  • 神经网络实现的音频超分辨率

    该研究介绍了一种新的音频处理技术，利用深度卷积神经网络提高音频的采样率，通过类似于图像超分辨率的过程，在测试过程中预测低分辨率信号中缺失的样本。该方法在实验中无需专门的音频处理技术，能够表现出更好的表现，显示出其在电话、压缩和文本转语音生成中的实用性

    Aug, 2017

  • 利用特权信息学习高效图像超分辨率

    本文介绍了一种基于卷积神经网络的图像超分辨率方法 ——FSRCNN，该方法使用极小的网络参数达到了良好的效果，并使用一种新颖的蒸馏框架，通过教师和学生网络进行高分辨率的重建，大大提升了网络性能。

    Jul, 2020