Apr, 2024

二次预测误差方法的最优速率非渐近特性

PDF
TL;DR我们研究了二次预测误差方法，即非线性最小二乘法，针对一类满足一定可辨识条件的时变参数预测模型。通过利用依赖数据学习的现代工具，我们提供了这种方法在非线性参数化模型类的更一般设置下的首个速率最优的非渐近分析。此外，我们展示了我们的结果可应用于一类可辨识的自回归滑动平均（ARMA）模型，从而导致了 ARMA 模型鉴别的首个最优非渐近速率。
发现论文，激发创造
  • 超越最小二乘法：通过自协调快速收敛正则化经验风险最小化

    通过使用带有二次希尔伯特范数的凸经验风险正则化的学习方法，我们考虑了线性预测器和非线性预测器的设置，同时包括正定核。针对这类损失，作者提出了一种偏差 - 方差分解思路，并通过改善偏差项、方差项或二者同时来快速逼近渐进速率，从而实现在减小自相近损失假设下的非高斯预测器更快速的收敛效果。

    Feb, 2019

  • 鲁棒线性回归：多项式时间内的最优速率

    本文提出了一种在数据为超收缩分布、存在不可避免的敌对噪声情况下，基于平方和框架的线性模型学习算法，该算法的收敛速度与扰动的比例成幂率关系，能达到理论最优收敛速度且在先前研究中未被发现。

    Jun, 2020

  • 在线非参数回归

    基于顺序熵，确立了在线回归的最佳速率，发现最佳速率具有类似于独立同分布 / 统计学习情况的相变。此外，展示了一种享有建立的最佳速率的通用预测器和一种设计在线回归算法且计算高效的方法。

    Feb, 2014

  • 普通最小二乘回归的更快、更好、更坚强的收敛速率

    提出一种基于平均加速正则梯度下降的算法，通过细化初值和 Hessian 矩阵的假设，最优地优化回归问题，并证明其在偏差与方差之间具有最优性、大数据时初始化影响可达到 O（1/n2）以及对于维度 d 的依赖程度为 O（d/n）。

    Feb, 2016

  • 二次函数的非二次估计器

    本研究考虑了在不是二次凸的参数空间上估计二次函数的问题，通过局部阈值法构造了最小极大风险优化程序，这些非二次规则有时即使最优二次规则收敛缓慢，也能够完全高效地实现估计，并且发现在估计二次函数时，非二次规则可能表现出不同的拐角现象。

    Mar, 2006

  • kNN 分类器对未知非对称标签噪声具有快速识别率

    研究在类别依赖的非对称标签噪声存在下的分类问题，提出了一种基于 Robust kNN 分类器的方法实现了纯净样本设定下的极小化最优率，同时提出了一种仅需少量假设的函数最大值估计方法。

    Jun, 2019

  • 系统辨识的非渐近理论教程

    该论文介绍了最近在系统辨识理论中发展起来的非渐近方法，重点介绍了在该领域的一系列问题中特别有用的工具，如覆盖技术、Hanson-Wright 不等式和自标准化马丁格尔方法，并使用这些工具对用于识别自回归模型中的参数的各种最小二乘估计器的性能给出了简化的证明。最后概述了如何将所提出的思想扩展到某些非线性辨识问题。

    Sep, 2023

  • 半参数最小二乘学习线性动态系统

    通过分析最小二乘估计器的变体，，提出了一种半参数噪声估计算法，可以解决具有偏差，半参数噪声的估计问题，同时可以应用于部分观测线性系统参数的估计，且对于长期依赖问题的方差引入具有可减少的能力.

    Feb, 2019

  • 大型高斯图模型参数估计的渐近正态性和优化性质

    本文提出了一种新的回归方法，根据样本大小相对于稀疏性条件，在稀疏条件下获得每个精度矩阵条目的渐近高效估计，以解决高斯图模型中有关样本大小问题的难点，同时实现了整个精度矩阵的自适应速率最优估计及在潜变量的图模型中进行推断。

    Sep, 2013

  • 数据内插是否违背了统计最优性原则？

    学习方法插值训练数据可以实现最优率，适用于非参数回归和基于平方损失的预测问题。

    Jun, 2018