Jul, 2024

通过权重置换训练的神经网络是通用近似器

PDF
TL;DR通过证明其引导 ReLU 网络逼近一维连续函数的能力，并在各种初始化情况下实现回归任务的高效性，本文提供了对一种新颖的基于排列的训练方法的理论保证，其在不修改权重值的情况下展示出理想的分类性能。权重排列过程中的显著观察提示了排列训练可能会提供一种描述网络学习行为的创新工具。
发现论文，激发创造
  • 随机神经网络的通用逼近性质

    研究了随机神经网络的普适逼近性质、Bochner 空间中的逼近速率和维度诅咒，以及与确定性神经网络的比较。

    Dec, 2023

  • 普适神经功能

    本研究提出了一种自动构建任何权重空间的置换等变模型的算法，称为通用神经功能（UNF），在现有学习优化器设计中替代并对小型图片分类器和语言模型的优化效果显示出有希望的改进，结果表明学习优化器能够通过考虑其优化的权重空间结构获益。

    Feb, 2024

  • 训练不变量和低秩现象：超越线性网络

    本论文研究神经网络训练中的隐性偏差，探究梯度流和梯度下降的极限情况下，使用对数或指数损失函数对线性可分数据进行训练的深度线性网络的权重收敛于秩 1 矩阵的现象是否会发生于全连接层和跳跃连接层的 ReLU 激活前馈网络中，提出了一些训练不变性，并以特定参数方向收敛的 ReLU 网络的常数权重和多线性函数作为论据进行证明。

    Jan, 2022

  • 置换等变神经函数

    本篇论文研究了用于处理其他神经网络的权重或梯度的神经网络的设计，即神经功能网络（NFN），并通过对称性的引入提出了一个构建置换等变的神经谷波器的框架，其架构将这些对称性编码为归纳偏置，并发现该框架在处理加权多层和卷积神经网络等多个任务方面表现出很好的效果，如分类器推广和权重编辑等

    Feb, 2023

  • 带有无界激励函数的神经网络是一种通用的逼近器

    通过 Fourier 分片定理、Radon 变换和 Parseval 关系，证明了带无界激活函数的神经网络仍然满足通用逼近性质，并且表明在反向传播后，Ridgelet 变换或 Radon 域中的反投影滤波器是神经网络学习到的内容。

    May, 2015

  • 非线性逼近和（深层）ReLU 网络

    该论文研究了深度神经网络的近似和表达能力，证明了神经网络在目标应用中比传统的非线性近似方法具有更强的近似能力，其中逼近单变量函数的 ReLU 神经网络是研究的重点，然而，尚缺乏一种完全定量化神经网络近似能力的理论。

    May, 2019

  • 深度神经网络对置换不变 / 等变函数的普适逼近

    本文研究了有限群 $G$ 的 $G$- 不变 / 等变函数与深度神经网络之间的关系，特别是对于给定的 $G$- 不变 / 等变函数，我们通过深度神经网络构建其通用逼近器，其中每层都具有 $G$- 作用，每个仿射变换都是 $G$- 等变 / 不变。由于表示论，我们可以证明这种逼近器具有比通常模型少得多的自由参数。

    Mar, 2019

  • 神经网络逼近

    该篇论文调查了神经网络的近似性质，特别是使用 ReLU 激活函数的非线性流形，并比较了这种近似方法与传统数值分析中使用的近似方法之间的差异，着重分析了数值稳定性问题，发现在一定程度上提高了近似能力，但以数值稳定性为代价。

    Dec, 2020

  • 神经网络的近似能力探究

    本文使用直接代数证明了通用逼近定理，进一步量化了逼近所需的隐层单元数，并且证明了在权重上施加限制下仍然保持均匀逼近性质。

    Feb, 2020

  • 排列不变智能体的最小神经网络模型

    通过限制输入的排列和尺寸，构建了一种可以灵活应对变化，具有新型 ANN 模型的结构，该模型能够在多个控制问题上表现出 ANN 所缺乏的灵活性，并且可以处理输入索引的快速排列，证明了其在很大程度上具有优越性。

    May, 2022