Jun, 2022

前馈神经构架空间局部最优网络分析

HTML
PDF
TL;DR本研究利用局部最优网络（LON）分析，对候选解的适应度景观的导数进行了探讨以表征和可视化神经结构空间，结果表明LONs可能为分析和优化神经结构提供有效的范式。
发现论文，激发创造
  • 定性描述神经网络优化问题

    本文通过分析，发现现代的神经网络足以直接用随机梯度下降算法实现庞大的非线性优化任务，并且能够克服局部最优解的困难。

    Dec, 2014

  • 过度参数的浅层神经网络优化空间的理论洞见

    研究浅层神经网络在过参数化情况下，如何使用二次激活函数进行训练并找到全局最优解，结果表明此方法适用于具有任意输入/输出对的任何训练数据，并可使用各种本地搜索启发式方法高效地找到全局最优解。同时，对於差分激活函数，我们也证明了梯度下降法在得到合适的初值后可以以线性速度收敛到全局最优解，它的输入来自符合高斯分布的选定属性且标记是通过种植的重量系数生成的。

    Jul, 2017

  • 豪猪神经网络：(几乎)所有的局部最优都是全局最优

    本文提出 Porcupine Neural Networks 对神经网络进行优化并在结果中显示了大多数本地最优解均达到全局优化，同时在本地最优解可能存在的区域提出了一种特征，进而证明了不加约束条件的神经网络可用多项式规模的 PNN 进行逼近。

    Oct, 2017

  • 神经网络的全球概览

    本文回顾了关于神经网络全局和局部损失函数的广泛研究，重点探讨了在某些假设下宽神经网络可能存在亚优局部最小值的性质以及一些修改方法，并讨论了实际神经网络的可视化和经验探索，最后简要讨论了一些收敛结果及其与全局和局部损失函数相关的关系。

    Jul, 2020

  • 前向ReLU网络的解决方案理论探讨

    本文通过推导基本规则来解释前馈ReLU网络的机制，以解释工程网络架构，并提供了加强解决方案普遍性的几种方法。

    Jan, 2022

  • 神经赛跑降维：门控网络中的抽象动态

    通过引入门控深度线性网络框架，研究网络结构对学习动态产生的影响并理解它与任务之间的关系，表明结构化网络中的学习动态可以被概念化为具有向共享表示的神经竞赛，我们的分析为神经网络架构与学习之间的关系提出了一般性假设，并提供了理解更复杂架构设计以及模块化和组合在解决现实问题中起的作用的数学方法。

    Jul, 2022

  • 神经网络优化和泛化

    论文旨在通过提出基于结构的一阶优化算法和网络集合与个体网络之间的一种新对应关系，发展人工神经网络的学习权优化和泛化理论基础，进而在具有远远更多参数的网络中探索正则化的作用。

    Oct, 2022

  • 线性神经网络层促进单/多指数模型学习

    本文探讨了超参数神经网络中大于两层的隐式偏差。通过添加线性层，可以优化神经网络的表示成本，并提高实际子空间的准确匹配度与预测性能。

    May, 2023

  • 低秩学习设计：网络架构和激活线性在梯度秩崩溃中的作用

    我们在深度神经网络的学习动态方面的理解仍然不完整。最近的研究开始揭示了这些网络的数学原理，包括“神经坍塌”现象，在训练的后期，DNN内的线性分类器会收敛到特定的几何结构。然而，几何约束在学习中的作用并不仅限于这个阶段。本文对DNN中的梯度秩进行了全面研究，研究了体系结构选择和数据结构对梯度秩界限的影响。我们的研究不仅有助于理解DNN中的学习动态，而且为深度学习工程师提供了实践指导，以便做出明智的设计决策。

    Feb, 2024

  • 通过局部最优网络理解形态进化中的适应度景观

    应用LON分析揭示了三种不同编码在机器人演化运动任务中所引发的适应度景观的结构，首次揭示了在Morpho-evolution领域中使用LON分析，这将有助于未来定制ME景观的新算法或操作符的设计。

    Feb, 2024