- 用于估计飞机发动机剩余可用寿命的物理信息机器学习(PIML)方法
利用物理知情机器学习(PIML)领域开发模型来预测航空发动机的剩余寿命,采用 C-MAPSS 数据集,使用随机方法估计 C-MAPSS 数据的物理模型并将其应用于 LSTM 模型,结果表明 PIML 方法在这个问题上表现优异,同时该框架灵活 - 一种受量子机器学习启发的新型随机 LSTM 模型
分析经典、随机和量子方法的表现,研究在长短期记忆模型中利用量子变分算法启发的随机方法,以取得量子机器学习在经典机器上的一些好处。
- ACL语言生成中概率 - 质量悖论
论文分析了自然语言生成过程,并通过信息理论解释了高概率和高质量并不总是一致的现象,得出语言生成应包含接近自然字符串分布熵的负对数概率数目,初步实证结果表明高质量的文本具有信息量与自然字符串分布熵更接近的特点。
- 一种能够实现随机和全局方差缩减算法的双层优化框架
本研究提出了一种新的方法来解决大规模实证风险最小化中双层优化问题的梯度计算难以求解的问题,设计了 SABA(基于 SAGA 算法的)全局方差缩减算法,该算法收敛速度达到了 $O (rac1T)$, 实现了线性收敛,并得到了实验证明。
- 均场博弈和均场类型控制的数值方法
本文回顾了关于数值方法在 Mean Field Games 及 Mean Field Control 类型问题中应用的各种方面,包括基于线性二次型、偏微分方程数值方案、Kolmogorov-Fokker-Planck 方程优化技巧、基于单调 - 广义式博弈中随机后悔最小化
本论文提出了一种新的用于开发随机后悔最小化方法的框架,该框架允许使用任何后悔最小化算法,结合任何梯度估算器,可以实例化几种新的随机方法来解决顺序游戏,并在三个游戏上展示了广泛的实验结果,其中一些方法的变体表现优于 MCCFR。
- MM使用压缩迭代的梯度下降
本文提出并分析了一种新型随机一阶方法:使用压缩迭代的梯度下降(GDCI)。GDCI 在每次迭代中首先使用失真随机压缩技术压缩当前迭代,然后进行梯度步骤。该方法是联邦学习实践中的关键要素之一的精华,其需要在将模型发送回服务器进行聚合之前由移动 - 噪音和曲率之间的相互作用及其对优化和泛化的影响
通过研究损失曲率和梯度方差的交互作用对优化速度的影响,本文探讨了两者相互作用如何影响优化速度,并阐明了曲率和噪声对于正确估计概括性差距的相关性质,同时区分了 Fisher 矩阵、Hessian 矩阵和梯度的协方差矩阵,以澄清现有作品的局限性 - 非凸有限和多块优化的加速随机算法
本文介绍了新的随机方法来解决两个重要的非凸优化问题,其中引入了随机加速远程梯度 (RapGrad) 方法和随机加速远程对偶 (RapDual) 方法来减少计算开销和块数,实验结果表明这些算法具有优势。
- 复合和弱凸优化问题的随机方法
本研究考虑了具有随机性的凸函数和光滑函数组成并且是弱凸的函数式的最小化问题,开发了一系列随机算法,并通过实验验证了实际效果。
- 线性时间内的机器学习二阶随机优化
本文提出了一种可以匹配第一阶段方法迭代成本的机器学习优化问题的二阶随机方法,具有线性时间实现的稀疏输入数据。
- 通过凸优化实现快速简易的 PCA
本文介绍了一种基于凸优化和随机方法的新的高效 PCA 方法,该方法能够在很短的时间内计算出一个给定矩阵的主成分,并且在一定参数范围内实现了迄今最快的计算速度。
- 快速随机 SVD 和 PCA 算法:收敛性和凸性
本文研究了 VR-PCA 算法的收敛特性和优化问题的凸性和非凸性,证明了一些新的结果,包括该算法的块版本的形式分析和从随机初始化到收敛,还提出一些具有独立兴趣的观察,例如如何通过单一的准确幂迭代来预初始化可以显著提高随机方法的运行时间。
- 量子机器学习简介
本文系统概述了新兴领域 - 量子机器学习的方法、技术细节以及未来理论的潜力。该领域研究人员研究了量子计算如何帮助改进传统的机器学习算法,具有重要的计算优势。
- ICML关于在线学习算法在成对损失函数中的泛化能力
本文研究了基于在线学习的随机方法的泛化特性,提出了一种通用的解耦技术,可以提供基于 Rademacher 复杂度的泛化误差界限,并进一步分析了一类内存效率的在线学习算法。
- 复杂网络中的共识聚类
探究了社区结构如何能被用于复杂网络中以展示其组织和其组成部分之间隐藏的关系。这里提出了将一致性聚类(consensus clustering)与任何现有方法自洽地结合起来的框架,以显著提高生成的分区的稳定性和准确性。在将该框架应用于大型物理