Apr, 2024

梯度网络

PDF
TL;DR本文介绍了梯度网络（GradNets）：一种参数化各类函数梯度的新型神经网络架构，通过增加特定约束确保与梯度函数的对应性。我们提供了一个全面的 GradNet 设计框架，包括将 GradNets 转化为保证表示凸函数梯度的单调梯度网络（mGradNets）的方法。我们证明了所提出的 GradNet 和 mGradNet 的近似能力，并且实验结果表明这些架构在梯度场学习任务中提供了高效的参数化，并且优于流行的方法。
发现论文，激发创造
  • 神经网络的近似和梯度下降训练

    通过研究使用神经切向核（NTK）优化方法来训练的网络，本文对使用梯度下降训练的网络建立了类似的结果，以扩展逼近结果的平滑性，从而显示了这两种理论的兼容性。

    May, 2024

  • 无约束单调神经网络

    该研究提出了一种无限制单调神经网络（UMNN）架构，基于函数导数严格为正，进而在自回归流中实现密度估计实验，并展示了 UMNN 提高变分推断的能力。

    Aug, 2019

  • 使用近似梯度下降学习图神经网络

    该论文提供了第一个针对具有一个隐层节点信息卷积的图神经网络（GNN）的可证明有效的学习算法，并开发了一种综合性框架来设计和分析 GNN 训练算法的收敛性。提出的算法适用于各种激活函数，包括 ReLU，Leaky ReLU，Sigmoid，Softplus 和 Swish，并对样本复杂度进行了特征化。数值实验进一步验证了理论分析。

    Dec, 2020

  • 通过连续的函数梯度优化引导非凸模型学习

    本文提出了一种适用于训练非凸模型（如神经网络）的连续函数梯度优化框架，其中使用了函数空间镜像下降法驱动训练。我们对该训练方法进行了理论分析和实证研究，并证明该方法比传统训练技术具有更好的性能。

    Jun, 2020

  • OptNet: 神经网络层中的可微分优化

    OptNet 是一种深度神经网络体系结构，可以将优化问题作为单独的层集成到大的可端到端可训练深度网络中，并且可以使用灵敏度分析、双层优化和隐式差分等技术来确切地区分这些层，而且能够学会硬约束优化问题，比其他神经网络工具效果更好。

    Mar, 2017

  • 探索生成流网络的泛化行为

    生成流网络（GFlowNets，GFNs）是一种生成式框架，用于学习离散空间上的非归一化概率质量函数。我们通过实证验证了 GFlowNets 的一些泛化机制假设，发现它们学习逼近的函数具有隐含的结构，有利于泛化。同时，我们还发现 GFlowNets 对离线和离策略训练非常敏感，但是 GFlowNets 隐含学习到的奖励对训练分布的变化具有鲁棒性。

    Feb, 2024

  • 超参数神经网络的梯度下降动力学

    本文通过 Lyapunov 分析，证明了使用梯度下降法训练过程中神经网络权重的动态会收敛到接近最小范数解的一个点，并通过实例表明这一结论的意义在于 GD 收敛于泛化性能好的预测函数，从而提供了 Arora 等人的普适性结果的另一证明。

    May, 2021

  • GradNorm：用于深度多任务网络中自适应损失平衡的梯度归一化

    本研究提出了一种使用梯度规范化的算法（GradNorm），在多任务网络的训练中能够自动平衡不同任务的训练误差，从而避免过拟合现象，提高准确率和性能，并且能够适用于各种网络结构、回归和分类任务，证明了梯度操作是解锁多任务学习潜力的关键之一。

    Nov, 2017

  • 梯度下降证明过参数化神经网络的最优化

    本文研究表明，在神经网络中使用 ReLU 激活函数和随机初始化梯度下降法可以以全局线性收敛率收敛于全局最优解，其分析依赖于神经网络的超参数和随机初始化方式，这些经验也可能有助于分析深度网络等其他一阶方法。

    Oct, 2018

  • 神经网络通过梯度特征学习的可证实保证

    神经网络理论分析不足，该研究提出了一个基于梯度的特征学习分析框架，应用于混合高斯函数和奇偶函数等问题，并揭示了网络学习现象与特征学习的关系。

    Oct, 2023