- 核矩阵的低秩逼近入元误差界限
通过截断奇异值分解,我们推导了低秩近似核矩阵的逐元素误差界。尽管这种近似在谱范数和弗罗贝尼乌斯范数误差方面是最优的,但对于单个元素的统计行为知之甚少。我们的误差界填补了这一空白。关键的技术创新是对应于小特征值的核矩阵的特征向量的非定位化结果 - 连续投影的改进算法和界限
给定一个 $d$ 维空间中的 $K$ 个顶点的单纯形,我们在单纯形上用 $n$ 个带噪声的点进行测量(因此,观察到的点中有些点落在单纯形之外)。顶点搜索是估计单纯形的 $K$ 个顶点的问题。流行的顶点搜索算法是连续投影算法(SPA)。然而, - 基于行列式点过程和广义容积抽样的加权最小二乘逼近
通过使用随机点值函数的加权最小二乘逼近方法,该研究论文提供了一种依赖于投影行列式点过程(DPP)或体积采样的加权最小二乘泛化版本,证明了在期望意义下使用 O (mlog (m)) 个样本时预期的 L^2 误差受到常数倍的 L^2 最佳逼近误 - 对 Sobolev 范数关于 Korobov 函数的最优深度神经网络逼近
该研究论文通过对 Korobov 函数应用深度神经网络(DNNs),建立了近乎最优的逼近速率,成功克服了维度灾难。通过 $L_p$ 范数和 $H^1$ 范数对逼近结果进行了测量。我们实现的逼近速率展现了非常优秀的 “超收敛” 速率,优于传统 - 协变量转移适应中的一般正则化
通过重新加权样本,本研究在再生核希尔伯特空间中修正最小二乘学习算法的误差,以解决未来数据分布与训练数据分布不同引起的问题,并证明在弱平滑条件下,相比现有分析所证明的,为了达到与标准监督学习相同精度所需的样本数量更小。
- 可分数据下的逻辑回归梯度下降收敛速率
本文证明了在使用可变学习率运行梯度下降时,对于逻辑回归目标函数,损失 f (x) ≤ 1.1・f (x*) + ε,其中误差 ε 按迭代次数指数下降,并按任意固定解决方案 x* 条目大小的多项式下降。该文还将这些思想应用于稀疏逻辑回归,在那 - 离散去噪模型的连续时间框架
该研究提出了第一个完整的离散数据扩散模型去噪声的连续时间框架,使用连续时间马尔可夫链模型可以有效地训练模型,利用高维 CTMC 模拟技术和连续时间框架可导出高性能抽样器,超越了离散时间方法。此外,还得到了关于生成样本分布与真实数据分布之间误 - ICLR渐进分布转移下的随机优化预测校正算法
本文针对机器学习中涉及到的时间变化的随机优化问题,以及其在离散时间的解法中存在的连续性问题,提出了基于预测 - 校正算法的优化方法,并给出了理论与实验证明,相较于不使用该算法的其他方法,本文提出的算法能更好地利用连续过程,提高最优解的准确性 - CVPR一种隐式 Sinkhorn 微分的统一框架
该研究提出了一种能够通过隐式求导获得 Sinkhorn 层解析梯度的算法,相较于以前的工作,该框架基于 Sinkhorn 算子最一般的公式并允许任何类型的损失函数,目标容量和成本矩阵联合求导,提高了梯度的稳定性和精度,并且在计算效率方面的表 - AAAI注意力机制的快速蒙特卡罗近似
引入 Monte-Carlo Attention(MCA),一种随机化逼近方法,旨在减少 Transformer 架构中的自注意机制的计算成本,并通过近似矩阵乘法对输入令牌进行编码,使得计算低关注度的输入令牌时具有弛容性,从而降低了注意力复 - CVPR一个用于健壮拟合的混合量子 - 经典算法
该论文提出了一种使用混合量子经典算法的鲁棒拟合方法,采用一系列整型规划求解并实现全局解或误差界限,该方法可为计算机视觉中的随机启发式算法提供较实用的改进。
- 无需极小极大优化的连续 Wasserstein-2 重心估计
该论文提出了一种可扩展的算法,用于计算 Wasserstein-2 重心,针对输入测量,其不仅限于离散形式,并使用输入凸神经网络和周期一致性正则化以避免引入偏差,并提供了误差界的理论分析,以及在低维定性情景和高维定量实验中提出的方法的实证证 - 带有 Massart 噪声的学习半空间的近似最优统计查询难度
研究学习理论中使用的统计查询模型在学习含有 Massart 噪声的 Halfspaces 时的有效性,并证明了已知的算法与最优界的差距,解决了一个学习理论中长期存在的难题。
- 蒙特卡罗和线性随机逼近的显式均方误差界
本文研究了受 Markov 扰动影响的递归方程的误差界限。研究显示,均方误差实现了参数估计的最优速率 $O (1/n)$,并获得了速率中的确切常数,这对算法设计非常有价值。
- 逐层反转深度生成模型
本文研究在 ReLU 激活的深度生成模型中,通过解决线性规划问题进行单层反演,证明了多层反演是 NP 难问题,提出了可在多项式时间内进行精确恢复的算法,并为恢复嘈杂观测提供了可证明的误差界限。
- KDDCount-Min 算法:利用经验误差分布进行最优估计和紧密误差界限
提供了一些回答,包括新的计数估计器、实用的严格误差界限和最佳的草图调优参数。
- KDD基于 VC 维的关系学习泛化界
本文研究了关系模型的充分统计量的误差边界,主要结果是证明了适用于关系数据的 Vapnik-Chervonenkis 维度的变体边界。
- 重尾测量的结构恢复:阈值过程和最优速率
本论文提出了一种基于正则化阈值最小二乘的通用程序,用于从具有重尾测量的观察中估计结构信号。通过计算估计器的边界球的三个关键半径,提出了分析阈值处理的通用框架,并在具有线性和任意未知函数的两种情况下紧密约束了关键半径,同时在最小有限的边界矩前 - 适应性拉普拉斯机制:深度学习中的差分隐私保护
本文提出了一种新颖的机制来保护深度神经网络的差分隐私,其中包括对神经元的仿射变换、损失函数的扰动方法,并在特征与输出间加入更多 / 更少的噪声。理论分析和实验结果证明该机制相对于现有解决方案具有更高的有效性。
- 低秩矩阵近似的实用素描算法
该论文介绍了构建输入矩阵的低秩近似的算法套件,这些算法使用矩阵的随机线性图像(称为草图)。这些方法可以保留输入矩阵的结构特性,如半正定性,并且可以生成具有用户指定秩的近似值。此外,每种方法都伴随着一个信息性误差界,允许用户预先选择参数以实现