该论文介绍了一种新的神经网络结构，Gated Linear Networks (GLNs)，其区别于当代神经网络的地方是，其信用分配机制具有分布式和本地化特性；每个神经元都直接预测目标，放弃了学习特征表示的能力，而选择快速在线学习。使用数据相关门控和在线凸优化，个别神经元可以建模非线性函数。该论文证明了该架构在极限情况下具有普遍的学习能力，并且有效的模型容量随着网络大小的增加而增加，与深度 ReLU 网络相似。此外，该论文证明 GLN 学习机制具有非常强的抗遗忘能力，在标准基准测试中表现与带有 dropout 和 Elastic Weight Consolidation 的 MLP 相当。这些理论和实证特性将 GLNs 定位为当代离线深度学习方法的补充技术。

Sep, 2019

研究了使用梯度下降法在过度参数化的双层神经网络中训练，证明了在足够过度参数化的条件下，GD 方法可以近似地将振幅算子的幂应用于生成响应 / 标签的基础 / 目标函数 $f^*$，并且提供了使用低秩逼近来减少经验风险的线性速率的足够条件，介绍了适用于球面上的多项式的一般结果的应用

May, 2019

研究了 ReLU 神经网络，引入了一种简化的模型，即门控线性单元（GaLU），并证明使用 GaLU 神经网络比使用 ReLU 神经网络更容易得到更强的优化和泛化结果，且当某些场景下，GaLU 网络与 ReLU 网络的行为相似。

Jun, 2019

本文研究了在线学习算法中带有成对损失函数的泛化性能，并提出了一种数据依赖性较小的界限来衡量在线学习算法的平均风险产生的序列的模型偏差，同时针对常见的机器学习问题，如基于排名和监督度量学习提出了实际应用案例。

Jan, 2013

我们研究了关于任意但有界损失函数的假设类的在线可学习性。我们给出了一种新的与规模敏感的组合维数相关的步进最小二维，并证明它对在线可学习性提供了紧密的定量刻画。作为应用，我们首次对两种自然学习设置进行了在线可学习性的定量刻画：向量值回归和多标签分类。

Jul, 2023

本文考虑在再生核希尔伯特空间中的非规则化在线学习算法，给出了分类的显式收敛速率以及对于一般损失函数的非规则化成对学习算法的首次收敛性证明和收敛速率。

Mar, 2015

本文提出了一种新的神经架构，G-CLN，用于非线性循环不变量的学习，通过引入门控单元和 dropout，允许模型在大量项上强大地学习常规不变量，并通过分数采样解决有限程序采样引起的过拟合问题，此外还提出了新的 CLN 激活函数 - 分段偏置二次单元（PBQU），用于自然地学习紧凑的不等式边界。实验证明，该方法可以解决一系列非线性循环不变量问题。

Mar, 2020

本文指出，关于促进稀疏性的更强大的贝叶斯算法具有类似于长短期记忆 (LSTM) 网络或先前设计用于序列预测的替代门控反馈网络的结构，从而导致了一种新的稀疏估计系统，当授予训练数据时，可以在其他算法失败的方案中高效地估计最优解，包括在实际方向 - 到达 (DOA) 和三维几何恢复问题中。

Jun, 2017

该论文介绍了一种新的网络类型 —— 线性化置信网（LBN）—— 它是实值条件分布的普遍逼近器，并且能够有效地训练，在图像去噪和面部表情生成等任务中取得了最先进的结果。

Nov, 2015

本研究提出了一个基于特征空间的生成分类器框架，以解决在线类增量学习中用于避免 softmax 分类器的数量型偏差问题，并通过广泛实验验证了该框架的有效性。

May, 2022