- 分散随机梯度下降上升算法的稳定性和泛化性
我们研究了分布式随机梯度上升下降(D-SGDA)算法的原始 - 对偶广义界限,通过算法稳定性方法,在凸凹和非凸非凹环境下对分布式最小最大算法的广义界限进行了改进。我们的理论研究表明,分布式结构不会破坏 D-SGDA 的稳定性和广义化能力,在 - 拜占庭强健学习的通信压缩:新的高效算法和改进的速率
通过压缩和收敛速率,提出了两种新的拜占庭容错化方法,并证明了它们在非凸和 Polyak-Lojasiewicz 平滑优化问题中具有更好的收敛速率、异构情况下更小的邻域大小以及在过参数化时更能容忍拜占庭节点;同时还开发了带有压缩和误差反馈的第 - PMNN:基于物理模型的神经网络求解时间分数阶微分方程
本文提出一种创新的物理模型驱动神经网络(PMNN)方法,用于求解分数阶微分方程。该方法通过将深度神经网络与分数导数的插值逼近技术相结合,建立了一个时间迭代框架,并通过训练神经网络学习这个迭代框架,从而获得微分方程的近似解。通过数值实验验证了 - 线性回归带有打乱标签的最佳估计器
该论文考虑了具有洗牌标签的线性回归任务,提出了一种一步估计器来重构(Π,B),并给出了在不同情境下正确排列恢复的充分条件,最后通过数值实验验证了上述结论。
- 数据常有短路径加载:金融、图像、流体和蛋白质的量子电路张量网络
我们提出了一种基于张量网络理论的电路编译方法(AMLET),通过精确构建特定的张量网络拓扑,可解决将任意经典向量加载到量子计算机所需的指数级电路深度问题。并通过对金融、图像、流体力学和蛋白质等领域的实际经典数据进行数值实验,证明相比指数级扩 - 单调函数的自适应逼近
研究了用 GreedyBox 算法逼近单调非减函数的问题,证明了该算法在任何函数上都达到了最优样本复杂度,特别是对于分段平滑的函数,通过简单修改甚至达到了最优的极小最大逼近速率,并进行了数值实验验证。
- 置换子群的神经发现
我们考虑寻找置换群 S_n 的子群 H 的问题。我们提出了一种方法,可以在满足一定条件的情况下发现隐藏的子群 H。我们的结果表明通过学习一个 S_n 不变函数和一个线性变换可以发现任何类型为 S_k (k ≤ n) 的子群。我们还证明了循环 - 多元政策在无回报马尔可夫决策过程中的融合
通过提供一个统一的多样性强化学习框架并研究多样性政策的收敛性,我们在这篇论文中提出了一个经过证明的有效多样性强化学习算法,并通过数值实验验证了我们方法的有效性。
- 自動肘部檢測的頻譜信息準則
介绍了一种广义信息准则,可以包含其他信息准则(如贝叶斯信息准则(BIC)和赤池信息准则(AIC))作为特殊情况,还引入了一种更为通用的谱信息准则(SIC),采用几何特征提取误差曲线的肘部,为模型选择提供子集合,并提出选择唯一模型的实用规则。 - 二元分类的回归函数的无分布推断
该论文介绍了一个重新采样框架,用于构建精确、无分布偏差且非渐近保证的真实回归函数置信区间,以适应用户选择的信赖水平,并提出了具体算法以演示该框架。通过数值实验验证了算法,并将其与近似渐近保证的置信椭球进行比较。
- 平滑优化在稀疏正则化中的广泛框架:利用哈达玛过度参数化
基于稀疏性的参数化的非平滑正则化方法在优化问题中引入了平滑性,通过数值实验验证了该方法性能与常用的凸和非凸正则化方法相当甚至更好。
- 度量空间中的有效阻抗
本文介绍一种基于区域的有效电阻方法来研究图表结构,在度量空间中应用该方法可以获得一个与区域相关的非平凡解。
- 拟合值迭代方法在双因果最优输运中的应用
本文提出了一种拟合值迭代(FVI)方法,用于计算具有适应性结构的 bicausal 最优传输(OT)问题,证明了样本复杂性,并展示了多层神经网络的适当结构能够满足所需的关键假设。数值实验表明,FVI 在可扩展性方面优于线性规划和自适应 Si - 一种用于彩色视频修复的新型低秩鲁棒四元数张量补全算法及其快速实现
本文介绍了一种新的鲁棒四元数张量完成模型来解决彩色视频修补问题,并给出了精确的恢复原理,这种模型非常有效地恢复了满足先验低秩假设的高维数据,通过数值实验验证,该方法成功地恢复了彩色视频,消除了颜色污染,保持了视频连续性,并提供了比现有算法更 - 随机自然阈值算法
本文提出并讨论了随机自然阈值算法的收敛性保证,通过将自然阈值从具有线性测量的确定性版本扩展到具有一般目标函数的随机版本。我们还对线性和非线性测量进行了各种数值实验,以展示 StoNT 的性能。
- 利普希茨动态风险度量下的风险敏感型强化学习遗憾界
本研究应用 Lipschitz 动态风险度量,提出了两种模型算法用于有限时间马尔可夫决策过程,建立了遗憾上界和下界,并通过数值实验证实了理论结果。
- 使用平均奖励标准的逆强化学习
本文提出了一种基于平均奖励框架的逆强化学习方法,并通过研发一系列随机一阶方法用以有效减少计算复杂度,这些方法可用于解决平均奖励马尔可夫决策过程的子问题,并为对策镜像下降法提供支持。最终,我们在 MuJoCo 基准测试和其他控制任务中进行数值 - 随机梯度内点算法求解光滑约束优化问题
该研究提出了一种基于随机梯度下降法的内点算法,用于最小化一个连续可微的目标函数,该函数可能不是凸函数,同时受到边界约束。该算法唯一之处在于通过计算随机梯度估计来计算搜索方向,以及通过正面和消失的邻域参数序列来定义可行区域内部邻域,从而迫使迭 - 基于物理信息可逆神经网络的高效贝叶斯反问题推断
提出了使用物理知识的可逆神经网络 (PI-INN) 来解决贝叶斯反问题的新方法,其中包括 INN 和 NB-Net 两个子网络来提高估计后验概率分布的可行性,并采用新的独立损失项来保证 INN 输出的统计独立性,通过数值实验验证了其高效性和 - 关于在尊重因果关系下训练物理知识驱动神经网络的最优损失函数
本研究提出了一种方法,可以将带有初始和边界条件的微分方程问题简化为仅由微分方程描述的问题,并基于广义函数构造了新的加权损失函数,以提高物理启发神经网络的准确性。