ReLUs 足以学习隐式神经表示

ICMLJun, 2024

ReLUs Are Sufficient for Learning Implicit Neural Representations

Joseph Shenouda, Yamin Zhou, Robert D. Nowak

TL;DR通过第二阶 B 样条小波的灵感，我们给深度神经网络 (DNN) 每一层的 ReLU 神经元引入一组简单的约束以修正其谱偏差，从而实现对各种隐式神经表示任务的有效使用。通过实验证明，与普遍观点相反，基于只包含 ReLU 神经元的 DNN 可以学习出最先进的隐式神经表示。我们利用最近关于 ReLU 神经网络学习函数类型的理论工作，提供了一种量化学习函数规则性的方法，为 INR 架构中的超参数选择提供了有原则的方法。通过在信号表示、超分辨率和计算机断层扫描等领域进行实验，我们验证了我们方法的多样性和有效性。所有实验的代码可以在此 URL 中找到。

Abstract

Motivated by the growing theoretical understanding of neural networks that employ the Rectified Linear Unit (ReLU) as their activation function, we revisit the use of relu activation functions for learning implicit neural representations (INRs). Inspired by second order B-spline wavele

implicit neural representations relu activation functions spectral bias inr tasks hyperparameters

发现论文，激发创造

使用修正线性单元理解深度神经网络

本文研究使用带有 ReLU 的深度神经网络能够代表的函数家族，提供了一个训练一个 ReLU 深度神经网络的一种算法，同时提高了在将 ReLU 神经网络函数逼近为浅层 ReLU 网络时已知下限的上界，并证明了这些间隙定理。

Nov, 2016

复数小波的隐式神经表示和代数

利用隐式神经表示 (INRs) 以欧几里得空间的多层感知器 (MLP) 对图像进行参数化，有效地在信号中表示了在常规离散表示中看不到的耦合空间和频谱特征，为以前不可能的连续信号处理和机器学习方法铺平了道路。本文研究了使用正弦激活函数的 INRs 在傅里叶理论方面的工作，并展示了与正弦函数相比，使用小波作为激活函数的优势，因为它们能够同时在频率和空间上进行本地化。我们在这项工作中探讨了这种 INRs，并演示了它们如何从 MLP 的第一层中进行粗糙逼近从而解析出信号的高频特征。这导致了多种 INR 架构设计的建议，包括使用复数小波，解耦低通和带通逼近以及基于所需信号奇点的初始化方案。

Oct, 2023

神经网络激活函数的作用

本文通过样条理论的角度展示了神经网络训练问题与函数的 Banach 空间有关，进一步论述了 ReLU 等激活函数的重要性，解释了神经网络设计与训练策略如何影响其性能，并为路径范数正则化及跳连等策略提供了新的理论支持。

Oct, 2019

隐式神经表示的采样理论探索

隐式神经表示（INR）已成为计算机视觉和计算成像中解决反问题的强大工具。在线性反问题背景下，我们研究了使用单隐藏层 ReLU 激活和傅里叶特征层的广义权重衰减正则化方法，来从低通傅里叶系数恢复连续域图像的采样要求，验证了我们的理论，并展示了 INR 在超分辨恢复更实际的连续域幻影图像上的性能。

May, 2024

大规模多样化数据的多项式隐式神经表示

本文提出了 Poly-INR 模型，通过使用多项式函数来消除位置编码的限制，为生成建模任务在复杂领域中采用 INR 模型铺平了道路。Poly-INR 模型在像 ImageNet 这样的大型数据集上进行了定性和定量评估，并表现出与最先进的生成模型可比的性能，可消除卷积、规范化或自注意力层，具有更少的可训练参数。

Mar, 2023

关于 ReLU 神经网络的深度下界

本研究使用混合整数优化、多面体理论、热带几何等技术探究神经网络单隐藏层能否学习到所有函数的普适逼近定理，为可表示函数的类提供了数学支持。同时，解决了 Wang 和 Sun (2005) 关于分段线性函数的一项猜想，并提出了表示具有对数深度函数所需神经网络的上限。

May, 2021

使用深层 ReLU 网络近似非线性泛函

本文研究了与 ReLU 激活函数相关的功能深度神经网络的逼近能力，并在简单三角剖分下构建了连续分段线性插值。此外，还建立了所提出的功能深度 ReLU 网络的逼近速率，并在温和的正则条件下进行了分析，最终探究了功能数据学习算法的理解。

Apr, 2023

人工神经网络逼近某些平滑有界函数类的必要深度，无须维数灾难

本文研究了使用 ReLU 激活的浅层和深层人工神经网络的高维逼近能力，并且证明了使用深层 ReLU 人工神经网络可以解决简单逼近问题，而不能在多项式时间复杂度下使用浅层或不够深度的人工神经网络来解决。

Jan, 2023

ReLU 深度神经网络与线性有限元

研究使用 ReLU 函数作为激活函数的深度神经网络和连续分段线性函数的关系，特别是从单纯形线性有限元法（FEM）得到的连续分段线性函数。在此基础上，我们证明了使用 ReLU DNN 表示任何线性有限元函数需要至少两个隐藏层，而使用 ReLU DNN 表示任何 CPWL 函数需要至少两个隐藏层。最后演示了使用 ReLU DNN 求解偏微分方程组的结果。

Jul, 2018

S 形修正线性激活单元的深度学习

本文提出了一种能够 SReLU 在深层神经网络中充分学习凸函数和非凸函数的网络。实验结果表明，与其他激活函数相比，SReLU 可以显著提高卷积神经网络的性能。

Dec, 2015