- 自适应合作相关学习基于半监督多标签特征选择
提出了一种基于自适应协同相关学习的半监督多标签特征选择方法(Access-MFS),用于解决高维度多标签数据中存在缺失标签样本的维数灾难问题,并通过引入广义回归模型和扩展的不相关约束,在标记数据中选择具有区分性但无关的特征,并同时保持预测和 - SCORE:打破贝叶斯优化在高维空间中的局限的一种一维参数重新参数化技术
本文提出了一种名为 SCORE 的快速可扩展方法,通过一维重新参数化技巧打破 Bayesian 优化在高维场景下的维度诅咒,从而在不需要高性能计算资源的情况下成功寻找到针插到大海中的优化函数的全局最小值,并拟合实际数据。
- 具有 ReLU、leaky ReLU 和 softplus 激活函数的深度神经网络在半线性偏微分方程空时解中可被证明地克服维数灾难
使用深度学习方法中的深度神经网络(DNN)和修正线性单元(ReLU)、渗漏线性单元(leaky ReLU)或软正单元(softplus)激活函数,可以在无维数的空间 - 时间区域中以 Lp 意义逼近具有 Lipschitz 连续非线性性质的 - 基于物理信息的深度学习和压缩选点法,高维扩散反应方程的实际存在理论和数值计算
利用稀疏技术和随机采样的最新进展,本研究基于深度学习开发和分析了一个高维偏微分方程求解器,理论和数值结果表明其在稳定性和准确性方面可以与一个新型的压缩谱逼近方法竞争,并证明了存在一类可训练的深度神经网络,具有适当的网络结构和样本复杂度的充分 - POMDP 问题的循环自然策略梯度
研究基于循环神经网络(RNNs)的自然策略梯度方法,用于部分可观测的马尔可夫决策过程,其中 RNNs 用于策略参数化和策略评估,以解决非马尔可夫强化学习中的维度问题。通过有限时间和有限宽度的分析,我们证明了 RNN 在具有短期记忆问题的情况 - 再现性与几何内在维度:关于图神经网络研究的调查
机器学习研究中的复制和再现困难已成为近年来一个突出的话题,本研究通过介绍一个机器学习再现性本体论并将其应用于图神经网络方法,评估了研究出版物在支持再现性不同方面的程度,同时探讨了维数灾难这一机器学习中的另一个关键挑战,即数据收集、表示和分析 - 扩散模型的动力学区域
利用统计物理方法,我们研究了在空间维度和数据量非常大且得分函数经过最优训练的情况下的生成性扩散模型。我们的分析揭示了在向后生成性扩散过程中的三个不同的动力学阶段。生成动力学从纯噪声开始,首先经历了一次 “分化” 转变,其中数据的总体结构得到 - 非对数凹分布的零阶采样方法:通过去噪扩散缓解亚稳定性
非对数凹分布下的采样问题中,提出了一种基于非归一化密度查询的采样方法,通过模拟去噪扩散过程以及用通用蒙特卡罗估计器逼近其评分函数,构建了 Diffusion Monte Carlo (DMC) 框架。进一步,通过拒绝采样实现 DMC 的 o - 面向高维弗克 - 普朗克方程的基于得分的物理信息神经网络
通过使用基于评分函数的求解器,我们提出了一种新颖的方法来解决高维度 Fokker-Planck 方程中的维数灾难问题,并在不同设置下对其稳定性、速度和性能进行了评估。
- 神经网络中的深度分离:将维度分离出来与准确性
证明了在满足条件的情况下,当用深度为 2 和深度为 3 的神经网络来近似一个在 [0,1]^d 上与 Lipschitz 目标函数的 constant 精度相等的分布时,存在指数级的差距。
- 无需分布假设的差分隐私子空间估计
在这项工作中,我们在两种不同类型的输入数据的奇异值间隙下,对私有子空间估计的问题进行了数学建模,并证明了两种情况下的新的上下界。特别是,我们的结果确定了在估计子空间时所需的点数与维度无关的间隙类型。
- 数字计算机突破维数诅咒:通过有限几何实现自适应边界
通过利用离散结构,研究表明在实际计算机上实现的模型中统计学习中的维度灾难被系统性地打破。我们得到了基于内核和深度 ReLU MLP 回归器的新的无维度率的广义界限,并使用新的非渐近测度集中结果导出,该结果在任意有限度量空间上的概率测度与其经 - 分布式神经计算打破维度灾难
我们提出了一种理论方法,使用一种可以在多台机器上分布的神经计算算法来克服维度灾难。我们的模块化分布式深度学习范 paradigm 让我们能够在只加载少量参数到 GPU VRAM 的情况下实现任意的精度。我们从理论上证明,对于任意的错误水平 - 高维空间中普通贝叶斯优化表现出色
高维问题一直被认为是贝叶斯优化算法的致命软肋。本文通过识别导致标准贝叶斯优化在高维任务中性能不佳的退化情况,并通过减少模型复杂性的角度探究现有算法如何应对这些退化情况。此外,我们提出了一种增强对标准贝叶斯优化算法中先验假设的修改方法,通过与 - 提高高维贝叶斯优化中的样本效率与 MCMC
基于马尔可夫链蒙特卡罗方法,我们提出了一种新的算法来从近似后验中高效采样,该算法在高维度的顺序优化中表现优于现有方法。
- 用 Pontryagin 神经算子解决参数化广义和微分博弈
通过引入在前向和后向态演化之间的差异上定义的共态损失,该论文提出了一种 Pontryagin 模式神经运算符,用于处理具有参数状态约束的游戏,该方法在安全性能方面优于现有技术,且无需手动监督数据。
- 从距离集中和流形效应解释维数灾难
当维度增加时,数据的特征和可解释性变得更加抽象和复杂。在高维空间中,低维空间中的常见模式和关系可能不再成立,这导致回归、分类或聚类模型或算法的性能下降,这被称为维数灾难。本文总结了操作高维数据时面临的五个挑战,并通过理论和实证分析探讨了维数 - 证明无无所谓的平原是否意味着经典仿真?或者,为什么我们需要重新思考变分量子计算
基于对贫瘠高原现象的理解,本文探讨了一个引人注目的问题:利用允许避免贫瘠高原的结构是否也可以用于在经典上高效模拟损失,通过在初步数据获取阶段从量子设备中收集一些经典数据,我们表明常用的具有可证明无贫瘠高原的模型也可以在经典上模拟,这对于参数 - 随机神经网络的通用逼近性质
研究了随机神经网络的普适逼近性质、Bochner 空间中的逼近速率和维度诅咒,以及与确定性神经网络的比较。
- 具有状态约束的两人对称差分博弈的价值逼近
使用三种方法解决了物理信息机器学习方法在机器人应用中由于采样性质而产生的不连续解的问题,并在 5D、9D 车辆模拟和 13D 无人机模拟中证明了混合方法在泛化和安全性能方面的优越性。