Apr, 2023

Gaussian 随机场的非线性函数 L∞恢复： 多项式样本复杂度上界

PDF
TL;DR通过利用高斯随机场中真实函数的随机性，证明了一些难以置信的结果，为高斯随机场中随机真实函数的多项式样本复杂度提供了一个有界上限。聚焦于球面谐波上，利用 L_inf 和 L_2 比率控制证明 L_inf-L_2 问题的解决方案。
machine learningl_inf-errorpolynomial samplesgaussian random fieldsspherical harmonics
发现论文，激发创造
  • 高维线性化双层神经网络

    本论文研究了在球面上进行方差损失下的未知函数 f * 的学习问题，并研究了神经切向核模型和 Rahimi-Recht 的随机特征模型等两种流行的模型，以及核岭回归。同时，论文探讨了样本数量有限或由于关于度数和样本数的适当估计而未能实现最优化性能时的情况，以及核方法随机选取核函数时的情况。

    Apr, 2019

  • 非线性观测与生成式先验下的广义 Lasso

    研究了在存在 Lipschitz 连续生成模型的情况下，从嘈杂的非线性测量中估计未知的 n 维信号问题。研究表明，非一致恢复保证在 i.i.d. 下成立，并且这种方案可以抵抗对抗性噪声，同时经过推广，可以适用于神经网络生成模型和其他测量模型。

    Jun, 2020

  • $L^\infty$ 重心核希尔伯特空间的可学习性

    本文分析了在 L^∞范数下再现核希尔伯特空间（RKHS）的可学习性，与核方法和随机特征模型在安全和安全关键应用中的性能密切相关，建立了样本复杂度的下限和上限，并证明了在球面上的点积核下，如果 β 与输入维度 $d$ 无关，则可以使用多项式样本有效地学习 RKHS 中的函数。

    Jun, 2023

  • 神经网络在信息论极限附近通过梯度下降学习低维多项式

    通过 SGD 优化的两层神经网络可学习任意多项式链接函数的单指数目标函数，并具有与信息理论界限相匹配的样本和运行时间复杂度。

    Jun, 2024

  • 关于正则化多项式函数回归

    这篇论文提供了关于多项式函数回归的综合性研究，得出了一个创新的有限样本界限。该界限涵盖了各个方面，包括一般的平滑条件、容量条件和正则化技术，并且扩展和推广了线性函数回归领域的几个发现。我们还提供了数值证据，表明使用更高阶的多项式项可以提高性能。

    Nov, 2023

  • 平方根 Lipschitz Loss 下的一致收敛

    本文研究基于 Rademacher 复杂度和平方根标量损失函数的 Lipschitz 常数，以高斯数据的泛化一致性保证为例，并处理了广泛的平方根 Lipschitz 损失函数的类别，包括适用于相位恢复和 ReLU 回归的非平滑损失函数，从而重新推导和更好地理解 “乐观率” 和插值学习保证。

    Jun, 2023

  • 使用线性函数逼近的无限时域离线强化学习：维度诅咒与算法

    本文研究线性函数逼近下无穷时域离线强化学习的策略评估的样本复杂性以及分布漂移假设下的算法，提出了算法的样本复杂性的下界，以及样本复杂性的上界。

    Mar, 2021

  • 学习多项式变换

    提出了用于学习高维多项式变换高斯函数的算法，同时探讨了该算法在深度生成模型中的作用，同时还给出了可证实保证的分解高维张量算法

    Apr, 2022

  • 通过低秩 Hankel 矩阵重建从随机高斯投影中恢复复指数信号的鲁棒性恢复

    本文研究从少量随机高斯投影中恢复由 R 个不同的复指数函数叠加而成的超级信号，通过寻找信号的低秩 Hankel 矩阵最小化其核范数实现，理论结果表明，只要投影数量超过 O（Rln ^ 2N），可以实现强鲁棒恢复。

    Mar, 2015

  • 对降秩高斯过程回归的希尔伯特空间方法

    本文针对高斯过程回归的降维问题，提出了一种基于 Laplace 算子的特征函数分解方法，可以有效提高模型的预测速度和计算效率，并同时确保了较低的截断误差。

    Jan, 2014