- 通过中奖彩票集成的神经缩放定律
神经缩放定律是指模型性能随规模增加而改善的现象。本文通过逼近理论分析了神经缩放定律,并预测 MSE 损失随着参数数量的减小而衰减,其中 N 是模型参数数量,d 是固有输入维度。虽然他们的理论对某些情况(例如 ReLU 网络)有效,但令人惊讶 - 基于本地能量分布的随机模拟退火超参数确定
本文介绍一种基于局部能量分布的随机模拟退火超参数确定方法,该方法使用中心极限定理估计局部能量分布,并将正态分布应用于超参数确定,从而将复杂度从 O(n ^ 3)降低到 O(1),在最大割问题的 Gset 和 K2000 基准测试中得到了 9 - 圆周最优输运的统计学
本研究针对圆形数据的经验最优运输 (OT) 距离,提出了一种基于分布极限定理的中心极限定理。我们的限制结果通常只需要较为温和的假设,适用于 Von Mises 等著名情况。通过引入 Hadamard 可微的 OT 函数概念,我们得出了自举原 - 高维随机特征学习的普适性定律
证明随机特征学习的一般性定理,表明具有非线性激活函数的随机特征模型在训练和泛化误差方面渐近等效于匹配协方差矩阵的线性高斯模型,其方法基于经典的 Lindeberg 方法,证明的主要内容包括针对与训练过程相关的优化问题的 leave-one- - 浅层神经网络的动态中心极限定理
研究神经网络在梯度下降中的表现,证明了 2 范数的上限可以帮助在训练过程中控制一般化误差,数值实验结果与理论结果相符合。
- 熵优化输运的统计界:样本复杂度和中心极限定理
该论文证明了关于任意维度下服从次高斯分布概率测度间的熵最优输运问题的统计学基础边界,提出了新的样本复杂度结果并建立了熵最优输运的收敛速率,成功地将其推广至无界测度下,并通过 Del Barrio 和 Loubes(2019)的技术建立了熵最 - 非凸随机优化中 ADAM 算法的收敛性和动态行为
本文介绍了 Adam 算法的一个连续时间版本,并证明了在稳定性条件下,该算法能够收敛于目标函数的临界点。作者还介绍了一种新的步长递减 Adam 算法,并分析了算法的波动性,采用条件中心极限定理证明算法有收敛性。
- 神经网络的平均场分析:中心极限定理
本文通过随机分析弱收敛方法证明单层神经网络模型在隐藏单元数量和随机梯度下降迭代次数均较大时存在中心极限定理;结果表明网络在平均场极限周围的波动符合高斯分布,并且满足一些随机偏微分方程。
- 高维中心极限定理:通过鞅嵌入的定量界限
该研究介绍了一种在高维环境下获得中心极限定理(CLT)收敛速率的新方法。运用该方法,我们获得了在交通距离和熵中收敛的新界限,并特别改进了对于有界随机向量的二次 Wasserstein 运输距离收敛的已知最佳界限,推导了对于一般的对数凹随机向 - 关于生成对抗网络的一些理论性质
本文通过分析数学和统计学特性,研究生成式对抗网络与 Jensen-Shannon 散度的深刻联系,并提供鉴别器族群的逼近论证及样本估计分布的大样本性质,特别地证明了中心极限定理。
- ICML修正线性单层感知器中权重分布的不变性
通过分析等价核,我们探讨了具有旋转不变性的权重分布和 ReLU 或 LeakyReLU 激活函数的多层感知机等价核,并使用中心极限定理表明了具有 0 平均值和有限绝对第三矩的权重分布相对于球形高斯权重层的核是渐近通用的。同时,深度网络的等效 - 多个随机图的普遍嵌入和多尺度网络推断的中心极限定理
本研究介绍了一种名为 “全能嵌入” 的多样本图推理方法,它在同一顶点集上联合嵌入多个图,证明了该嵌入的中心极限定理,并展示了它在图比较、多尺度图推理和问题解决方面的应用,如特定子图或顶点的识别及其相关性研究。
- 随机图中归一化拉普拉斯算子的特征向量的极限定理
本研究证明:在一个有限维的随机点积图的归一化拉普拉斯矩阵的 $d$ 个最大特征值所对应的特征向量的组成部分符合中心极限定理。作为推论,我们证明了对于随机块模型图,归一化拉普拉斯矩阵的谱嵌入的行收敛于多元正态分布,并且每个行的均值和协方差矩阵 - 确定性点过程蒙特卡罗
本文提出了基于确定性点过程和多元正交多项式的随机数值积分方法,其均方根误差会随着积分点数呈 N^{-(1+1/d)/2} 的速率减小,并在此基础上证明了一个属于该类定理的中心极限定理和精确的极限误差方差。
- MMBeta 分布导出的紧支持单周期小波
该研究介绍了与 Beta 分布相关的具有紧支持连续小波,可以通过使用 ' 模糊 ' 导数从概率分布中构建,这些波是一周期的 Unicycle 小波,可以被视为由两个参数 A 和 B 微调的 Haar 小波的柔和变体,从 Beta 小波和尺度 - 核平滑积分逼近
本文研究了核密度估计在非参数回归模型中的应用,提出了一种选取带宽参数的方法,并证明了在该条件下,估计的线性函数是渐近正态的,其渐近方差不依赖于回归函数,同时探讨了函数的光滑程度等影响估计结果的因素。
- 随机梯度 Langevin 动力学的一致性和波动性
该论文描述了一种处理大数据集的随机梯度 Langevin 动力学方法,该方法使用部分数据集生成建议,跳过接受 - 拒绝步骤并使用逐渐减小的步长序列,并且给出该算法的严格数学解析,包括证明算法是一致的、满足中心极限定理、可以通过显式步长序列的 - 王 - 兰道算法的收敛性
本研究分析了 Wang-Landau 算法的收敛特性及其相关的中心极限定理,该自适应重要性采样策略在固定反应坐标自由能作为偏差时非常有助于提高马尔可夫链蒙特卡罗算法的采样特性。
- 贝叶斯估计的零方差马尔可夫链蒙特卡罗方法
基于零方差原理和马尔可夫链蒙特卡洛模拟,提出了一种用于 Bayesian 模型的通用方差缩减技术,并证明了其零方差估计器的渐近无偏性和中心极限定理。
- 高斯多胞体的中心极限定理
在 d 维空间中,从标准正态分布中选择 n 个独立的随机点,得到凸包 K_n,称为高斯随机多面体。我们证明,K_n 的体积和面数满足中心极限定理,解决了该领域一个著名的猜想。