Jun, 2020

师生凸广义线性模型的渐近误差（或：如何证明 Kabashima 的复制公式）

PDF
TL;DR研究了凸广义线性模型的重建性能，证明了通过信息传递算法可以对其进行分析，并提供了数值例子证实其结果。
asymptotic reconstruction performancegeneralized linear estimation problemsconvex generalized linear modelsmessage passing algorithmsnumerical examples
发现论文，激发创造
  • 通过近似消息传递在旋转不变广义线性模型中的估计

    基于旋转不变设计矩阵的广义线性模型中，信号估计是一个问题。我们提出了一族新颖的近似传递消息 (AMP) 算法来估计信号，并通过状态演化递归在高维极限下严格表征了它们的性能。我们的旋转不变 AMP 与现有的基于高斯设计的 AMP 具有相同的复杂度；同时，我们的算法还将现有的 AMP 作为特例恢复。数值结果展示了与 Vector AMP（在某些情况下被猜想为贝叶斯最优）相近的性能，但是我们的算法复杂度更低，因为它不需要计算昂贵的奇异值分解。

    Dec, 2021

  • 随机顺序消息传递算法在近似推理中的分析

    本文采用随机协方差矩阵和动力学平均场方程来分析一种用于大型高斯潜变量模型的随机顺序消息传递算法，包括模型不匹配情境和算法收敛的模型参数取值范围.

    Feb, 2022

  • 高维鲁棒 M 估计：通过近似消息传递得到渐近方差

    作者使用近似消息传递算法 (AMP) 来计算 M-estimator 的操作特性，在高维极限下分析 Lasso estimator 并研究正则化最小二乘问题中出现的额外的高斯噪音。

    Oct, 2013

  • 鲁棒回归再探：加速与改进的估计速率

    本文主要介绍了在强污染模型下进行统计回归问题的快速算法，其中使用了鲁棒梯度下降框架，并提出了更快、更有效的算法来加速最优化过程。

    Jun, 2021

  • 随机线性估计中的互信息：超越 i.i.d. 矩阵

    本文通过自适应插值方法和随机矩阵理论证明了 Takeda，Uda，Kabashima 和 Tulino，Verdu，Caire 和 Shamai 使用复制方法提出的公式适用于一类具有旋转不变性质的矩阵，进而超越了原有广泛应用于压缩感知和统计学的噪声线性估计问题中的 i.i.d. 矩阵假设。

    Feb, 2018

  • 多层广义线性估计

    本文应用统计物理的标准方法，提出了多层近似信息传递算法来重构一个信号从多层（可能是非线性的）测量中，并推导出相关的状态演化方程来分析其性能。文中还介绍了一些这种测量模型在压缩感知、结构化矩阵 / 模式下的感知器学习以及自编码器中潜变量估计的应用。

    Jan, 2017

  • 高维广义线性模型中的最优误差和相变

    本论文研究高维机器学习中常遇到的广义线性模型，利用互信息推导贝叶斯最优估计和广义错误率，并且严谨论证了存在多个可学习区域，这对于算法开发和模型性能评估具有挑战性。

    Aug, 2017

  • 使用师生模型学习真实数据集的通用特征映射的学习曲线

    本文介绍一种 Gaussian 协变量泛化的 teacher-student 模型，可以在固定特征映射生成的不同空间中进行操作，可以捕捉广泛的现实数据集的学习曲线，并证明了渐近训练损失和泛化误差的严谨公式，讨论了该框架的能力和局限性。

    Feb, 2021

  • 过参数化线性模型的多类分类精确渐近推广

    本文研究了高超参数线性模型在多类别高斯协变量下的渐近泛化，包括对 Subramanian 等人所提出的双层模型的研究，提出了新的下界，证明了该模型的渐近一致性，并提供了一个在稀疏标签多类问题中广泛适用的 Hanson-Wright 不等式的变体。

    Jun, 2023

  • 随机特征和隐式流形模型学习中的泛化误差

    使用统计物理学中的复制法，我们针对一个综合数据集，研究了广义线性回归和分类问题，在超参数化和不充分参数化的条件下，为这些问题提供了渐近泛化表现的闭式表达式，特别地，我们展示了逻辑回归的双重下降效应，突显了用正交投影相比随机高斯投影在学习随机特征时的优越性，讨论了隐藏流形模型中数据相关性的作用。

    Feb, 2020