数字计算机突破维数诅咒：通过有限几何实现自适应边界

Feb, 2024

数字计算机突破维数诅咒：通过有限几何实现自适应边界

Digital Computers Break the Curse of Dimensionality: Adaptive Bounds via Finite Geometry

Anastasis Kratsios, A. Martina Neuman, Gudmund Pammer

TL;DR通过利用离散结构，研究表明在实际计算机上实现的模型中统计学习中的维度灾难被系统性地打破。我们得到了基于内核和深度 ReLU MLP 回归器的新的无维度率的广义界限，并使用新的非渐近测度集中结果导出，该结果在任意有限度量空间上的概率测度与其经验版本之间的 $1$-Wasserstein 距离测量时成立。

Abstract

Many of the foundations of machine learning rely on the idealized premise that all input and output spaces are infinite, e.g.~$\mathbb{R}^d$. This core assumption is systematically violated in practice due to digital computing limitations from finite machine precision, rounding, and li

machine learning curse of dimensionality generalization bounds kernel regressors deep relu mlp regressors

发现论文，激发创造

深度学习的快速学习率：从核视角

本文提出了一种新的理论框架来分析深度学习的泛化误差，推导了代表性算法（经验风险最小化和贝叶斯深度学习）的新的快速学习率，并且发现在有限维度的近似模型中存在偏差 - 方差权衡。

May, 2017

分布式神经计算打破维度灾难

我们提出了一种理论方法，使用一种可以在多台机器上分布的神经计算算法来克服维度灾难。我们的模块化分布式深度学习范 paradigm 让我们能够在只加载少量参数到 GPU VRAM 的情况下实现任意的精度。我们从理论上证明，对于任意的错误水平 ε 和任何 Lipschitz 函数 f:[0,1]^n -> R，我们可以构建一个神经途径模型，在整个区间 [0,1]^n 上均匀地以 ε 精度逼近 f，只需加载大约 ε^-1 的参数到内存，并在前向传播过程中加载大约 ε^-1log (ε^-1) 的参数。这改进了传统非分布式深度学习模型（如 ReLU MLPs）达到相同精度所需要的参数的最优界限，后者需要大约 ε^-n/2 的参数。唯一能克服维度灾难的其他深度学习模型是具有超强表达能力的激活函数的 MLPs。然而，我们证明这些模型 VC 维是无穷大的，即使有有限的深度和宽度限制，而神经途径模型则不然。这意味着后者是唯一可以泛化的模型。我们的分析在回归和分类任务中通过实验证实，证明相比较较大的集中式基准模型，我们的模型表现出更好的性能。

Feb, 2024

通用浅层神经网络的维度无关界限

本文以一种抽象的定理为基础，证明了解决函数逼近中避免维数噪声以及用于流形学习的样本外推的逼近度的两个问题。作者建立了一种浅层网络和深度网络的模型来证明这个定理，并给出了应用案例。

Aug, 2019

利用凸神经网络打破维度诅咒

研究神经网络单隐层的一般化性能，使用非欧几里得正则化工具，证明了它们适应未知的线性结构，而使用稀疏感应规范则可以实现高维非线性变量选择，提供了简单的几何解释，并提供了一些凸松弛的简单条件来实现相同的一般化误差界限，留下存在或不存在多项式时间算法的问题。

Dec, 2014

神经网络深度证明在具有恒定扩散和非线性漂移系数的 Kolmogorov 偏微分方程数值逼近中克服了维度灾难

这篇论文揭示了深度人工神经网络在 Kolmogorov PDEs 数值逼近中克服了维数灾难的现象。我们证明了所用 DNN 模型的参数数量在 PDE 维数 d 和逼近精度的倒数 ε 的倒数中，最多呈多项式增长。

Sep, 2018

通过学习不变表示来打破深度神经网络中的维数诅咒

通过研究深度学习模型的架构和数据内在结构之间的关系，本文探讨了深度学习的理论基础，并通过实验和物理启发式玩具模型的结合，揭示了它们的内在工作原理，旨在填补理论与实践之间的鸿沟。

Oct, 2023

深度人工神经网络中经验风险最小化对一般化误差的分析：在数值求解 Black-Scholes 偏微分方程中克服维数灾难

探讨深度神经网络假设类上基于经验风险最小化 (ERM) 的新分类和回归算法在高维偏微分方程数值解中克服维数灾难的条件，并说明在多项式时间内只需合适数量的样本即可获得解。

Sep, 2018

深度 ReLU 神经网络中的几何引起的隐式正则化

神经网络的隐式正则化现象与参数的几何特征密切相关，优化过程中更倾向于具有低批次功能维度的参数。网络的输入也对批次功能维度产生影响，输入的变化会改变批次功能维度的上限，称为可计算全功能维度，其估计收敛迅速且保持接近参数个数，可以与局部可辨识性相对应。与训练输入和测试输入相关的批次功能维度则由几何诱导的隐式正则化所影响。

Feb, 2024

高维情形下无需计算难度的鲁棒估计

该研究旨在解决高维分布学习中的拜占庭敌人问题，提出了面向单高斯、超立方体上的乘积分布及其混合分布和球形高斯的分布学习的算法，并为高维数据的拜占庭敌人问题提供了一种通用的检测与纠正方案。

Apr, 2016

学习深度修正线性单元网络的固定参数可解性

使用一种称为过滤式 PCA 的新工具来解决学习具有 ReLu 激活函数的神经网络的问题，该算法可以快速，并且不需要权重具有良好的条件或正系数的假设。

Sep, 2020