Oct, 2023

稳定非凸非凹训练的线性插值方法

PDF
TL;DR该论文从线性插值的角度对神经网络训练的稳定性进行了理论分析，提出了一种基于非扩张算子理论的优化方法 —— 放松近似近端点（Relaxed Approximate Proximal Point，RAPP），该方法扩展并优化了 Lookahead 算法，并通过对生成对抗网络的实验证明了 RAPP 和 Lookahead 中线性插值的优势。
发现论文，激发创造
  • 神经网络损失函数中单调线性插值的分析

    通过分析神经网络的初始参数和训练后的参数之间的线性插值关系，本文首次给出了神经网络训练中的单调线性插值（MLI）现象，通过利用微分几何理论，提供了 MSE 中 MLI 出现的充分条件，并发现了当网络权重远离初始化时，将出现违反 MLI 现象的情况。

    Apr, 2021

  • RONAALP：带有主动学习过程的降阶非线性逼近

    提出 RONAALP 算法用于增量学习快速准确的高维函数的降阶代理模型，在线阶段使用主编码器、社区聚类和径向基函数网络相结合的方式学习高效紧凑的代理模型，通过主动学习程序克服模型在初始训练范围外进行外插的问题，从而得到能够推广且快速准确的高维函数的降阶模型，并在化学非平衡的高超声速流动的三个数值模拟中加以验证，通过动态学习降阶热力学模型代理，将模拟计算的成本减少了 75%，同时保持感兴趣物理量上的误差小于 10%。

    Nov, 2023

  • 单调校准插值查找表

    通过学习灵活的、单调的函数以及解决凸问题的方法进行单调查找表的训练，同时积极处理连续性特征，处理分类或缺失数据，并通过并行化和小批量处理等方法实现大规模的学习，使得在实际问题上提供更高的准确性与用户可解释性。

    May, 2015

  • 单调线性插值的高原 —— 深度网络损失景观的 "有偏" 视角

    探讨神经网络中单调线性插值现象 (monotonic linear interpolation) 的相关性、对权重和偏差进行插值对最终输出的影响、在深度神经网络中存在一个长期平稳期等问题。

    Oct, 2022

  • 用于解决线性约束光滑非凸组合优化问题的不精确近端加速增广 Lagrangian 方法的迭代复杂度

    本文提出和建立了一种非精确的近端加速增广 Lagrange (IPAAL) 方法，用于解决线性约束平滑非凸复合优化问题的迭代复杂度，并证明了 IPAAL 方法在大多数 ACG 迭代中产生一个近似稳定解决方案。

    Jun, 2020

  • 深度神经网络的插值、逼近和可控性

    我们通过控制理论研究将深层残差神经网络作为连续动力系统的表达能力。具体而言，我们考虑从监督学习中产生的两个特性，即通用插值 - 能够匹配任意输入和目标训练样本，以及紧密相关的通用逼近 - 能够通过流映射逼近输入 - 目标函数关系。在控制结构变换族具有仿射不变性的假设下，我们给出了通用插值的表征，证明了非线性网络结构基本上都具备这一特性。此外，我们阐明了通用插值和通用逼近在一般控制系统背景下的关系，证明了这两个特性不能从彼此推导出来。同时，我们确定了控制结构和目标函数的条件，确保了这两个概念的等价性。

    Sep, 2023

  • 训练神经网络通过插值

    提出一种新的用于深度学习的优化算法，Adaptive Learning-rates for Interpolation with Gradients（ALI-G）。

    Jun, 2019

  • 浅层神经网络的插值性质

    本文研究过参数神经网络的损失曲面的全局最小值的几何结构，证明浅层神经网络可以插值任何数据集，给出全局最小值的 Hessian 矩阵的特征表达式，并提供一种实用的概率方法寻找插值点。

    Apr, 2023

  • 插值区间中的私有优化：更快速率和难度结果

    该研究使用随机凸优化方法解决私有化环境的插值问题，并提出了自适应算法来提高样本复杂性。

    Oct, 2022

  • 非凸优化问题的带动量近端梯度下降收敛分析

    在非凸优化问题中，本文研究了加速近端梯度法 (APGnc) 以及基于其的随机方差减少 (APGnc) 算法，证明了其所生成的序列的极限点是目标函数的临界点，并通过 KL 函数的性质获得了线性和次线性的收敛速率。

    May, 2017