一元径向基函数图层：适用于低维输入的脑启发式深度神经网络图层

Nov, 2023

一元径向基函数图层：适用于低维输入的脑启发式深度神经网络图层

Univariate Radial Basis Function Layers: Brain-inspired Deep Neural Layers for Low-Dimensional Inputs

Basavasagar Patil, Xavier Alameda-Pineda, Chris Reinke

TL;DR深度神经网络（DNN）已成为高维输入数据函数逼近的标准工具，但许多现实世界中的问题具有低维输入，对于这些问题，标准的多层感知器（MLPs）是默认选择。我们提出了一种称为单变量径向基函数（U-RBF）层的新颖 DNN 层，作为一种替代选择。类似于大脑中的感觉神经元，U-RBF 层使用一组神经元来处理每个单独的输入维度，其激活取决于不同的优先输入值。我们在低维函数回归和强化学习任务中验证了其与 MLPs 相比的效果。结果表明，当目标函数变得复杂且难以逼近时，U-RBF 尤其具有优势。

Abstract

deep neural networks (DNNs) became the standard tool for function approximation with most of the introduced architectures being developed for high-dimensional input data. However, many real-world problems have low-dimen

deep neural networks function approximation multi-layer perceptrons univariate radial basis function layer low-dimensional inputs

发现论文，激发创造

关于径向基函数神经网络的普遍逼近性质

本文研究了一种新型的 RBF（径向基函数）神经网络，其中平滑因子被替换为位移，证明在激活函数具有一定条件下，这些网络能够逼近欧几里得空间中任何紧致子集上的任何连续多元函数。对于具有有限个固定中心的 RBF 网络，我们描述了保证任意精度逼近的条件。

Apr, 2023

NeuRBF：具有自适应径向基函数的神经场表示

我们提出了一种新型的神经场，使用了一般径向基函数进行信号表示。该方法相比于现有的神经场方法，能够更好地适应目标信号，提高径向基函数的通道能力，并且通过混合自适应的径向基函数和基于网格的径向基函数，继承了自适应性和插值平滑性，取得了比现有方法更高的精确度和紧凑性。在 2D 图像和 3D 有向距离场表示中的实验证明了我们方法的优越性，并且在神经辐射场重建方面，我们的方法实现了与现有方法相媲美的渲染质量，具有较小的模型大小和可比较的训练速度。

Sep, 2023

用于高效神经网络训练的可证明数据子集选择

本文提出了构建 RBFNN 核心集的第一个算法，利用这些核心集以及梯度的逼近，可以提高深度神经网络训练的效率和准确性。

Mar, 2023

面部表情识别的多支路深度径向基函数网络

本文利用基于径向基函数的多个支路来增强卷积神经网络，以捕捉面部情绪识别中的局部模式信息。结果表明，该模型在某些数据集上取得了最先进的表现，并且整合局部信息使其成为竞争对手。

Sep, 2021

通过稀疏径向基函数神经网络解决多尺度椭圆问题

提出了一种利用稀疏径向基函数神经网络的方法来解决具有多尺度系数的椭圆偏微分方程。该方法不仅在三维情况下具有数值收敛性并提供可靠的数值解，而且在准确性和鲁棒性方面优于大多数其他可用的机器学习方法。

Sep, 2023

自适应基层功能数据分析的深度学习

尽管深度神经网络广泛应用于许多领域，但在数学函数数据分析领域却非常少见。本文提出了自适应学习基函数来实现是否有效的降维，引入神经网络，证明本方法在多种分类 / 回归任务中的实验结果均优于其他类型的神经网络。

Jun, 2021

旋转不变逼近与学习的深度神经网络

本研究基于树形结构探讨如何设计深度神经网络用于实现径向函数，以实现在任意高维欧几里得空间内旋转不变性的近乎最优函数逼近。结果显示，深度网络在逼近精度和学习能力方面远优于仅具有一个隐藏层的浅层神经网络，并证明了对于学习径向函数，深度网络可以实现近乎最优的学习速率，而浅层网络却不能。因此，这项研究说明深度在神经网络设计中的必要性，以实现旋转不变的目标函数。

Apr, 2019

深度神经网络用于多维函数数据的多类分类

本研究提出了一种新颖的 mfDNN 分类器，用于处理高维函数观测数据，采用稀疏深度神经网络架构，并采用 ReLU 激活函数和交叉熵损失函数来最小化多分类分类设置的风险函数。我们证明了 mfDNN 在模拟数据和不同应用领域的基准数据集上的性能。

May, 2023

深度神经网络逼近复合函数的无维度诅咒

本文发现使用修正线性单元（ReLU）激活的深度神经网络（DNNs）可以近似表示一类高维连续函数，其参数数量与输入维度和近似误差的多项式规模相同，该类函数由多个特殊函数的组合表示，包括乘积，最大值和某些并行的 Lipschitz 连续函数。

Apr, 2023

结构化径向基函数网络：多个假设预测的多样性建模

多模态回归问题可以通过结构化径向基函数网络来解决，该网络将多个假设预测器集成在一起，通过训练期间损失函数的 Loss 值形成质心 Voronoi tessellations，从而高效地插值这些 tessellations 并逼近多个假设的目标分布，同时使用只有两层神经网络的预测器控制多样性，达到了卓越的泛化性能和计算效率。

Sep, 2023