Jul, 2015

自然神经网络

PDF
TL;DR研究引入了自然神经网络，旨在通过调整内部表示来加速收敛并改善 Fisher 矩阵的条件。使用简单高效的参数重整方式，从而能够保留神经网络的正向传播计算。研究表明，通过提出的投影自然梯度下降算法 (PRONG)，这种神经网络能够高效地训练；研究同时在无监督和监督学习任务上证明了该方法的优点，并通过对大规模 ImageNet Challenge 数据集的训练显示了其可伸缩性。
natural neural networksfisher matrixprojected natural gradient descentunsupervised learningsupervised learning
发现论文，激发创造
  • 自然参数网络：一类概率神经网络

    提出了一种新颖且轻量化的神经网络模型 —— 自然参数网络 (NPN)，它允许使用任意指数族分布来建模神经元和权重，并且通过层之间的变换来生成与目标输出分布匹配的后验分布，实验结果表明，NPN 可以在现实世界的数据集上实现最先进的性能。

    Nov, 2016

  • 机器学习中的非自然算法

    自然梯度下降是一种具有鲁棒训练行为的优化算法，与网络重新参数化具有不变性，通过从流形上的微分同胚群到该状态空间的切空间的函子确定优化器的状态空间，这种算法在训练网络时具有更高的效率。

    Dec, 2023

  • 神经网络的近似和梯度下降训练

    通过研究使用神经切向核（NTK）优化方法来训练的网络，本文对使用梯度下降训练的网络建立了类似的结果，以扩展逼近结果的平滑性，从而显示了这两种理论的兼容性。

    May, 2024

  • 深度网络的自然梯度再探

    本文研究了使用自然梯度算法在深度学习中的应用以及其与其他三种方法的联系，并提出了使用未标记数据提高自然梯度算法推广误差鲁棒性的新方法，并将自然梯度算法扩展到包括第二阶信息和流形信息。

    Jan, 2013

  • 超参数神经网络的自然梯度下降快速收敛

    本文首次分析了自然梯度下降在非线性神经网络中的收敛速度，发现若序列导数矩阵显满秩且在初始化附近稳定，则该方法在随机初始化时就能快速收敛。对于深度 ReLU 神经网络，作者在过度参数化及输入非退化的条件下论证了这两个条件在训练期间均得以保持，并将分析拓展到其他损失函数，同时说明使用 K-FAC 近似方法也能在相同条件下达到全局最小值。

    May, 2019

  • 抬升神经网络

    本文提出一种新型的神经网络构架，利用基于惩罚项的训练问题来编码激活函数，这种框架可以被应用于 block-coordinate descent 算法中，该算法可以在每次迭代中通过并行化数据点和 / 或层数来解决简单（没有隐藏层）的监督学习问题，实验结果表明该方法为标准神经网络提供了极佳的初始权重估计，并且对于使用参数优化激活函数、对抗噪声数据的拓展也提供了思路。

    May, 2018

  • 高效的子采样 Gauss-Newton 和自然梯度方法用于训练神经网络

    使用 Levenberg-Marquardt 的 Gauss-Newton 和自然梯度方法，解决深度神经网络大量变量和海量数据集所产生的非凸优化问题，证明方法能够有效实现并提出数值结果。

    Jun, 2019

  • AdaNet：人工神经网络的自适应结构学习

    本文提出了新的自适应学习人工神经网络的算法 (AdaNet)，可以同时自适应地学习网络结构和权重。通过大规模实验，证明该算法在二元分类任务中表现出色，并且与传统方法中得到的神经网络相比具有竞争力的性能准确性。

    Jul, 2016

  • 一种提高神经网络准确性的新方法：恢复传统反向传播技术

    本研究提出了一种新的即时参数更新方法，通过消除每层计算梯度的需要来加速学习、避免梯度消失问题，并在基准数据集上优于最先进的方法，为高效有效的深度神经网络训练提供了一个有希望的方向。

    Aug, 2023

  • 自然延续学习：成功源于旅程，不仅仅是终点

    本文提出了一种称为自然连续学习（NCL）的新方法，该方法统一了权重正则化和投影梯度下降。NCL 使用贝叶斯权重正则化来鼓励在收敛时所有任务的良好表现，并结合使用先验精度的梯度投影，从而防止优化过程中的灾难性遗忘。我们的方法在前馈神经网络和循环神经网络中应用于连续学习问题时，优于标准权重正则化技术和基于投影的方法。最后，训练的网络在学习新任务时演变出特定于任务的动力学，与生物电路的实验结果类似。

    Jun, 2021