本文简单证明根据生成模型产生的反向网络是正确的推理方法。在一个简单的生成模型中，证明前向神经网络是正确的推理方法，它通过实验证明了像 AlexNet 这样的现实的深度神经网络的边缘权重的行为类似于随机数。它利用生成模型来产生带有标签的合成数据，并将其包含在训练集中，为深度学习提供改进和标准训练方法。

Nov, 2015

本研究通过梯度混淆，对基于坐标的多层感知器（coordinate-based MLP）中的谱偏差进行了研究，发现当表现能力受限时混淆程度增加，导致其收敛速度变慢，同时也发现了谱偏差降低时激活区域的特性。

Jan, 2023

引入彩虹网络作为训练的深度神经网络的概率模型，通过学习随机特征图的权重分布，并假设不同层之间的权重依赖被缩减为使输入激活对齐的旋转，介绍了其在 ImageNet 数据集上的验证和 Gaussian 权重分布的 Rainbow 网络的验证。

May, 2023

神经网络的归纳偏见和简单性偏见对于深度学习的成功是重要的，可以通过不同的架构进行控制。

Mar, 2024

通过傅里叶分析的工具，表明深度 ReLU 网络偏向于低频函数，且随数据流形复杂性的增加，学习高频函数变得更容易，但参数扰动会影响频率成分的鲁棒性和精确表达。

Jun, 2018

本文研究了基于生成网络将其输入噪声分布转换为其他分布的能力，提出通过实现一个基于迭代帐篷映射的 “填充空间” 函数来增加 ReLU 网络的噪声分布维数，使用泰勒级数逼近和二分搜索工具来计算函数反，从而提供了通过少量节点快速传递单变量均匀和正态分布的有效方法，最后指出了将高维分布有效转换为低维分布的方法。

Oct, 2018

本文研究深度全连接网络从可近似角度看与其两层浅神经网络等价，表明其泛化能力在某些方面受限于核函数框架，提出一种基于核函数的特征值分析方法。

Sep, 2020

本文提出了一种使用双重 Multi-Layer Perceptrons（MLPs）体系结构的信号表示方法，其中合成网络创建了从低维输入到输出域的功能映射，调制网络将目标信号对应的潜在代码映射到调制周期激活的参数，实现了图像、视频和形状的可推广的功能表示，并实现了比单一信号优化的先前工作更高的重建质量。

Apr, 2021

研究了具有独立高斯参数的 ReLU 网络中对抗性样本的现象。它们通过计算接近于线性的函数产生，瓶颈层在网络中起着关键作用，并确定了到某点计算的比例和敏感度。该研究的主要结论是，在具有恒定深度的网络中，一些深度的限制是必要的，因为有一些深度适当的网络计算接近于常数的函数。

Jun, 2021

本篇论文调查了如何通过多面体理论以及线性规划技术对神经网络进行训练、验证和缩小规模，并概述了深度学习和神经网络中使用的关键词，如 ReLU（线性修正单元）等。

Apr, 2023