本文通过学习一个 $k$ 位稀疏的 $n$ 位奇偶性来探索大规模数据集、模型规模和训练时间对模型训练计算问题的影响。研究发现神经网络可以成功地学会稀疏的奇偶性，并在训练过程中存在非连续的相变点。理论分析表明，这些观察结果不是通过 Langevin-like 机制解释的，而是通过在人口梯度中的 Fourier 间隙逐渐放大稀疏解来实现。

Jul, 2022

本文研究了分布式学习在存在迟滞节点的情况下的问题，提出了一种基于 1-bit 梯度编码的新的分布式学习方法，通过降低通信开销，在相同的通信开销下获得更好的学习性能。

Mar, 2024

通过梯度优化算法训练高频周期函数或模运算存在限制和挑战，即使频率或质数基数 - p 很大时梯度的方差也非常小，从而阻止该学习算法的成功。

Oct, 2023

在本文中，我们使用随机梯度下降（SGD）在两层全连接神经网络上解决了 k - 奇偶问题。我们展示了 SGD 能够以样本复杂性 O (d^(k-1))，使用 2^(Θ(k)) 个神经元有效地解决 k - 稀疏奇偶问题，从而与统计查询（SQ）模型的已知 Ω(d^k) 下界相匹配。我们通过构建一个能够正确解决 k - 奇偶问题的良好神经网络开始我们的理论分析。然后，我们证明了 SGD 训练出的神经网络可以有效地逼近这个良好网络，以小的统计误差来解决 k - 奇偶问题。我们的理论结果和发现得到了经验证据的支持，展示了我们方法的效率和效力。

Apr, 2024

这篇论文证明了深度学习在低交叉可预测性函数分布上的失败，提出了算法约束和跨预测性的概念，并利用信息度量来限制统计间距离，探讨了神经网络、优化误差和算法分析的相关问题。

Dec, 2018

本文对 Proof-of-learning（一种基于机器学习的训练检查点建立验证机制）进行了形式化分析，发现其存在容易被攻击者欺骗的漏洞，并提出在保护 Proof-of-learning 的真实性方面需要更多地借助密码学的方法。

Aug, 2022

通过利用低秩结构，我们构建了一种近似于关联绿函数的构建方案，其中相对误差为 $\mathcal {O}(\Gamma_\epsilon^{-1/2}\log^3 (1/\epsilon)\epsilon)$，使用高概率的 $\mathcal {O}(\epsilon^{-6}\log^4 (1/\epsilon))$ 个输入 - 输出训练对在任何 $0<\epsilon<1$ 的情况下可以保证收敛，从而获得了三维椭圆型偏微分方程相关的绿函数的学习的第一个具有理论依据的方案，我们还扩展了用于学习矩阵的随机奇异值分解算法到 Hilbert-Schmidt 算子，并刻画了该算法中偏微分方程协方差核的质量。

Jan, 2021

本研究关注了对指数级别集合进行求和的概率推断任务，并提出了一种基于随机生成奇偶约束模型的多项式数量级别的 MAP 推断查询的求解方法，结合迭代消息传递解码算法和整数线性规划 (ILP) 方案以及新的稀疏化技术，可以得到分割函数的下限和上限，与变分方法相比，具有更高的概率和更紧的限制。

Sep, 2013

该论文开发了量子版本的迭代优化算法，并将其应用于具有单位范数约束的多项式优化问题中，通过量子算法处理高维问题可以在少数迭代步骤中取得良好效果。

Dec, 2016

非渐近误差界限

Mar, 2024