- 使用随机零阶预言机最小化 Polyak-Łojasewicz 函数
应用零阶方案来最小化 Polyak-Łojasewicz (PL) 函数,基于利用随机 oracle 来估计函数的梯度,算法收敛到无约束情况下的全局最小值和约束情况下的全局最小值邻域,附带相应的复杂度界限,并通过数值示例进行了理论结果的证明 - 在更细粒度上的优化:有界局部次梯度变化视角
这篇文章研究了在有界局部次梯度变化情况下的非光滑优化问题,定义了目标函数的类别,包括传统优化问题中基于目标函数的 Lipschitz 连续性或梯度的 Holder/Lipschitz 连续性的函数,并且包含了既不是 Lipschitz 连续 - 突破随机优化问题中的重尾噪声障碍
我们针对具有结构密度的重尾噪声的随机优化问题展开研究,证明在随机梯度具有有限阶矩(α ∈ (1, 2])时,可以获得比 Ο(K^(-2 (α - 1)/α)) 更快的收敛速率,而且噪声范数可以有无界期望。为实现这些结果,我们使用平滑的中值均 - 延迟下的极小极大优化
本文旨在研究标准最小 - 最大优化算法的性能,特别是在出现延迟梯度更新时。研究结果表明,在合适的技术假设下,梯度下降 - 上升和延迟更新的额外梯度算法仍然保证收敛到凸 - 凹和强凸 - 强凹的鞍点。
- 通过加速梯度削减实现重尾噪声的随机优化
本文提出了一种新的加速随机一阶方法 clipped-SSTM,该方法通过剪辑随机梯度结合特殊变体的随机梯度下降法,用于解决具有重尾分布噪声的光滑凸随机优化问题,并推导出了该方法的第一个高概率复杂度界限,证明了其优于同类方法。
- IJCAI存在规则语言的模型论描述
本研究旨在模型理论中建立存在规则语言的模型论特性,如嵌入依赖项,元组生成依赖项和线性依赖项,并确定它们的复杂度限制。
- 凸凹二次鞍点问题一阶方法的计算下界
本文研究了大规模凸凹双线性鞍点问题的首次优方法,并针对线性迭代和不规则迭代方法推导了第一阶段方法的下限复杂度界限,结果表明在收敛率方面,首次优方法在约束情况下通常无法从已知的 $O (1/t)$ 迭代速率加速到 $O (1/t^2)$,并且 - ICLR关于量化 ReLU 神经网络的普适逼近性和复杂度界限
对量化神经网络的复杂度进行了深入研究,表明要达到近似误差边界的目标,量化网络所需的权重数量不超过未量化网络的 $log^5 (1/ɛ)$,支持量化技术的经验成功。
- 寻找静态点的下界 I
该研究论文证明了在高维、潜在非凸函数上找到 ε- 稳态点的复杂性下界,并探讨了基于 Oracle 算法的复杂度测量方法,显示出梯度下降、三次正则化牛顿法和广义 p 次正则化在自然函数类中是最优的。
- 利用 Coppersmith-Winograd 张量的幂次改进矩阵乘法
本文提出一种利用张量幂次的对称和非对称结构实现矩阵乘法复杂度下界优化的新方法,通过分析 Coppersmith-Winograd 张量的四次幂进一步降低矩阵乘法复杂度下界,并得到了许多基于矩阵乘法的问题的新解法。
- 从误差界到凸函数的一阶下降方法复杂度
本文提出了一种基于误差界的方法,通过与 Kurdyka-Łojasiewicz 不等式的相互作用和设计一维最坏情况的近似方法,分析了针对凸约束问题的首阶下降方法的复杂度。
- 深度神经网络的线性区域数量
研究神经网络的深度和节点的线性区分性对于复杂计算的影响,并在对多个模型类型的分析中提出新的关于深度优势的理论结果,同时研究了高层次单元的行为。
- 桶消元算法:几种概率推断的统一框架
通过桶消元算法重新构建概率推理算法,实现寻找最可能解释、后验最大假设和最大期望效用以及更新信仰的功能,并在此框架内提供将条件和消元结合的通用方法。同时,通过问题结构给出了所有算法的复杂度界限。
- 政策迭代的复杂性
本文研究关于 Markov 决策过程的策略迭代算法的收敛性和复杂度,提出了一种复杂度上界的限制方法,不依赖于折扣因子的价值,有效地限制了策略迭代算法收敛至最优策略所需的迭代次数。
- 表达能力强的描述逻辑中一致插值和遗忘的基础
研究了描述逻辑 ALC 中的一致插值和遗忘,并给出了基于双模拟的一致插值及其存在的模型论表征,决定一致插值存在的复杂度界限,一致插值计算方法以及其大小的紧密界限,并使用一种混合了模型理论和自动机理论方法的方式,作为副产品,还提供了对保守扩展 - 关于分级模态逻辑可满足性问题复杂度的注记
本文研究了带有基数约束的分级模态逻辑在几个已知框架类别下的可满足性复杂度及其判定问题,并获得了紧密的复杂度界限,尤其是针对具有传递性框架的情况下缺乏树型模型性质的问题。
- 关于 Answer-Set Programming 中强等价、一致等价和其它等价概念的共性视角
本文提出一种参数化的等价概念,同时限制了规则头和规则体中允许出现的原子,该方法是用于逻辑编程中应对强等价和一般等价的一种新的实现方式。