- 带有隐藏层级连接的物理启发神经网络的 PDE 近似的误差分析与数值算法
通过隐藏层级连接的物理信息神经网络方法,结合了隐藏层级连接的前馈神经网络、改进的时间步进策略和逼近偏微分方程的物理信息方法。我们分析了该方法在两种类型的偏微分方程(抛物型和双曲型)中的收敛性和误差限定,并展示了通过长时间段的动态模拟来有效控 - 一种基于双重样本回收方法的高效有限差分逼近
我们在本文中提出了一种双重样本回收方法,用于估计随机梯度,进而获得最优有限差分估计器,分析了其偏差、方差和均方误差,并在数值实验中应用该估计器,结果表明其与理论一致性和鲁棒性在小样本大小情况下尤为突出。
- 快速计算残差 $ k $- 最近邻回归的留一交叉验证
我们提出了一种快速计算方法,用于 $k$- 最近邻回归的留一交叉验证(LOOCV)。我们表明,在最近邻的打破平局条件下,$k$- 最近邻回归的 LOOCV 均方误差估计与在训练数据上评估的 $(k+1)$- 最近邻回归的均方误差相同,乘以缩 - 探索自监督图像去噪与变性
本文通过理论分析和数值实验深入分析了使用变性数据的自监督降噪算法,讨论了该算法在优化问题的种群风险上找到期望解的同时,经验风险的保证则取决于变性水平对降噪任务的难度。实验结果表明,使用变性图像进行训练的算法起作用,并且经验性能与理论结果相一 - 形成受控的维度缩减
通过提出非线性动力系统对移动 Agent 的形成控制来进行低维度表示,该系统由两部分组成:控制邻近点以解决局部结构问题和控制远程点以解决全局结构问题。数值实验在合成和真实数据集上进行,与现有模型进行比较表明所提出模型的稳固性和有效性。
- 深度神经网络的奇异黎曼几何方法 III. 分段可微层与 $n$ 维类的随机漫步
神经网络在生活中起着至关重要的作用,最现代的生成模型能够取得令人印象深刻的结果。本文将几何框架应用于研究神经网络,探讨卷积、残差和递归神经网络,以及非可微激活函数的情况,并通过图像分类和热力学问题的数值实验来说明研究结果。
- 分布自由预测中多个风险之间的数据自适应权衡
决策流程中的权衡、不确定性量化方法、风险控制、数值实验
- 深度集成中的紧密等变性
我们证明深度集成模型是等变的,通过使用数据增强,可以使深度集成模型在所有输入和训练时间上表现出等变性。关键是等变性在远离流形区域和无限宽度条件下的任何架构都成立。我们利用神经切向核理论推导出这一结果,并使用详细的数值实验验证了我们的理论见解 - 解耦学习与决策:用一阶方法突破在线资源分配中的 $O (√T)$ 障碍
在线线性规划在收入管理和资源分配中起着重要作用,本文提出了一种新的算法框架,将学习与决策分离,首次展示了基于一阶方法的在线算法可以达到 O (T^{1/3}) 的遗憾,同时进行了数值实验以验证理论发现。
- 逼近半线性波动方程的具有物理建模信息的神经网络的误差估计
我们提供了严格的误差界限,以评估逼近半线性波动方程的物理为本的神经网络。通过神经网络的层宽和训练点数,我们对具有两个隐藏层的双曲正切神经网络提供了总误差的界限,可在一些假设下使其任意小。我们通过数值实验展示了我们的理论界限。
- 自适应近端梯度方法的普适性无需近似
通过分析,我们展示了对于凸问题,自适应的近端梯度方法不受传统的 Lipschitzian 假设的限制。我们的分析揭示了一类无需线搜索的方法仍然在纯粹的局部 Hölder 梯度连续性下收敛,特别是连续可微分的半代数函数。为了解决局部 Lips - 使用库普曼算符的全球超梯度估计
基于梯度的超参数优化方法通过超梯度更新超参数。我们提出了一种 glocal 超梯度估计的方法,通过线性化超梯度动态以 efficiently 近似全局超梯度从而同时实现可靠性和效率。通过超参数优化的数值实验,包括优化优化器,我们证明了 gl - ICML连续 DR - 次模函数最大化的梯度上升增强
通过引入提升技术,我们改进了标准 PGA 方法的逼近性能,并在四个问题上验证了其有效性。
- 半监督学习的一致性、随机拔河游戏和 p - 拉普拉斯算子
该论文主要概述了偏微分方程与基于图的半监督学习的交叉领域,重点介绍了最近关于图基学习的 PDE 连续极限的大量研究,用于证明大数据极限下半监督学习算法的适定性。我们强调了一些围绕图基半监督学习的一致性的有趣研究方向,并通过 p-Laplac - 基于行列式点过程和广义容积抽样的加权最小二乘逼近
通过使用随机点值函数的加权最小二乘逼近方法,该研究论文提供了一种依赖于投影行列式点过程(DPP)或体积采样的加权最小二乘泛化版本,证明了在期望意义下使用 O (mlog (m)) 个样本时预期的 L^2 误差受到常数倍的 L^2 最佳逼近误 - 一致长期预测人人可达动力系统
在一个随机性质的遗传动力学系统下,我们研究分布的演化。通过利用 Koopman 和转移算子理论,可以将任意初始状态的分布向前演化到未来,我们研究了这些算子估计的长期预测表现。在观察到标准的估计方法在这方面可能会失败后,我们提出了一种学习范式 - SurvBeNIM:基于 Beran 的神经重要性模型用于解释生存模型
提出了一种名为 SurvBeNIM 的新方法,通过将重要函数纳入其核函数并将这些重要函数实现为一组联合训练的神经网络,从而解释机器学习生存模型的预测,其中以生存或累积危险函数的形式呈现。该方法提出了两种使用和训练整个实现 SurvBeNIM - 自旋态局部性与强迫移动优化的表征
基于 Ising 公式的组合优化问题中存在局部极小值,本文提出了一种基于特定硬件的算法,通过使用当前状态的局部特征来高效地跳出局部极小值,以求得更好的结果。数值实验证明了该特征和算法的有效性。
- 基于主成分对齐信任区域的局部适应贝叶斯优化:LABCAT
LABCAT 算法通过添加主成分对齐旋转和基于局部高斯过程代理模型的长度尺度的自适应重新缩放策略,扩展了基于信任区域的贝叶斯优化方法,通过广泛的数值实验,证明 LABCAT 算法胜过了几种先进的贝叶斯优化和其他黑盒优化算法。
- 分散随机梯度下降上升算法的稳定性和泛化性
我们研究了分布式随机梯度上升下降(D-SGDA)算法的原始 - 对偶广义界限,通过算法稳定性方法,在凸凹和非凸非凹环境下对分布式最小最大算法的广义界限进行了改进。我们的理论研究表明,分布式结构不会破坏 D-SGDA 的稳定性和广义化能力,在