Mar, 2024

关于神经网络优化中凝聚 - 聚合群存在的证据、定义与算法

PDF
TL;DR理解神经网络的收敛过程是机器学习领域中最复杂和关键的问题之一。尽管名人成功与人工神经网络的收敛紧密相关，但这一概念仍然主要是理论性的。这篇论文通过观察人工神经网络优化过程中出现的凝聚 - 融合群体，讨论一种基于不同方法的人工神经网络收敛。
neural networksconvergence processmachine learningoptimization problemscohesive-convergence groups
发现论文，激发创造
  • 共同学习：不同神经网络是否学习相同表示？

    本文研究了神经网络所谓的收敛学习现象，使用多种技术对神经网络进行了实验，发现了一些神经网络的未知属性，包括神经网络中某些特征通常会被成功学习，而其他特征则没有被可靠地学习，单元学习低维子空间，而这些子空间是多个网络共有的，但学习的基向量不一致，表示代码表现出局部代码和略微分布式代码的混合特征。

    Nov, 2015

  • 基于熵的深度神经网络引导加速收敛与提升性能

    通过引入基于熵的损失项，我们提出了一种新的方法来加强神经网络学习丰富的潜在数据表示，在更少的维度上收敛于更好的测试指标，并在图像压缩和图像分类的实验中展示了其有效性。

    Aug, 2023

  • 相干梯度：一种理解基于梯度下降的优化中泛化性质的方法

    本文提出了一个关于如何解释神经网络使用梯度下降算法泛化能力较强的假设 Coherent Gradients，并支持该假设的启发式论证和简单实验证明。同时，该分析为防止过拟合提出了一种自然而然的梯度下降修改方法。

    Feb, 2020

  • 集体深度学习的有效理论

    我们通过对于耦合的人工神经网络系统中集体学习的出现进行解析，引入了一个最小模型，通过考虑每个神经网络单元参数的本地学习动态和单元之间的扩散耦合之间的竞争来凝结几个最近的分散算法。

    Oct, 2023

  • 利用双时间尺度区间展示神经网络的收敛

    研究浅层神经网络的训练动态，证明了在内层步长远小于外层步长的两个时间尺度范围内，梯度流收敛于非凸优化问题的全局最优解，这依然成立即使神经元数量不是渐近大，与神经切向核或平均场逼近等最近流行的方法有所区别，并通过实验证明，随机梯度下降符合我们的梯度流描述，并在两个时间尺度范围内收敛到全局最优解，但在此范围之外可能失败。

    Apr, 2023

  • 定性描述神经网络优化问题

    本文通过分析，发现现代的神经网络足以直接用随机梯度下降算法实现庞大的非线性优化任务，并且能够克服局部最优解的困难。

    Dec, 2014

  • 训练神经网络的统一框架

    我们提出了一个统一的优化框架，用于训练不同类型的深度神经网络，并在任意损失、激活和正则化函数上建立其收敛性。该框架推广了众所周知的一阶和二阶训练方法，并允许我们展示这些方法在各种深度神经网络架构和学习任务中的收敛性为我们的方法的一种特殊情况。

    May, 2018

  • 元启发式设计前馈神经网络：二十年研究综述

    本文总结了传统和元启发式方法，连接了神经网络进化，合作共同进化 NN，复数 NN，深度学习，极端学习机，量子 NN 等的研究方向，提出了未来应对现代信息处理的有趣研究挑战。

    May, 2017

  • 用进化功能化的人工神经网络

    提出了一种基于张量微积分和拟达尔文机制的混合模型，用于寻找适合于策略、控制和模式识别任务的拓扑结构，并且能够在早期演化阶段提供适应的拓扑结构，从而在机器人，大数据和人工生命等领域得到应用。

    May, 2022

  • 三层神经网络动力学：初始凝聚

    通过理论分析，我们揭示了三层神经网络训练中凝聚现象的机制，并从二层神经网络训练中进行了区分。我们还建立了有效动力学的爆炸特性，并给出了凝聚现象发生的充分条件，并通过实验证实了这些发现。此外，我们探索了凝聚与深度矩阵分解中观察到的低秩偏差之间的关联。

    Feb, 2024