May, 2024

基于流数据的工具变量回归的随机优化算法

PDF
TL;DR通过将问题视为条件随机优化问题，我们开发并分析了工具变量回归算法。在最小二乘工具变量回归的背景下，我们的算法既不需要矩阵求逆也不需要小批量处理，并为使用流数据进行工具变量回归提供了完全的在线方法。当真实模型是线性的时，对于任意的正数 iota，在具有两个样本和一个样本估计器的情况下，我们推导出期望意义下的收敛速度，分别为 O (log T/T) 和 O (1/T^(1-iota))，其中 T 是迭代次数。重要的是，在具有两个样本估计器的情况下，我们的方法避免了显式建模和估计混淆因子与工具变量之间的关系，展示了该方法相对于基于重定义问题为极小化极大化优化问题的最近工作的优势。数值实验验证了理论结果。
instrumental variable regressionalgorithmsstochastic optimizationonline approachconvergence rates
发现论文，激发创造
  • 存在工具变量的非参数推断方法

    本文提出基于核方法和正交级数的两种非参数方法，用于在工具变量存在时估计回归函数，首次推导出了最优收敛速度，同时表明这些估计量是在特定条件下实现的。在工具变量存在的情况下，确定回归函数的关系也定义了一类 “困难” 的逆问题，其 “困难” 的程度取决于内生与工具变量的联合密度函数的特征值，同时阐明了问题困难程度在确定最优收敛速率和适当的平滑参数选择方面所起的作用。

    Mar, 2006

  • 核工具变量回归

    该研究提出了一种非参数化的核工具变量回归方法，可以应用于探索观察数据中因果关系，并在实验中得到非常好的表现。

    Jun, 2019

  • 非参数工具变量回归通过随机近似梯度

    本文提出了 SAGD-IV, 一种新颖的非参数工具变量回归框架，通过使用随机近似梯度来最小化投影总体风险。我们在理论上支持了算法，并通过实证实验证明了它的竞争性能。此外，我们也着重研究了二元结果的情况并取得了有希望的结果。

    Feb, 2024

  • 双工具变量回归

    介绍了一种新颖的算法 DualIV 用以解决非线性仪器变量回归问题，并且通过凸 - 凹鞍点问题得到比传统二阶段方法更简化的方案，同时构建了一种基于核函数的解析算法，该算法与现有的更复杂算法相比具有竞争力。

    Oct, 2019

  • 流式稀疏回归的统计学

    本文介绍一种基于稀疏近似的随机梯度下降算法，该算法能够在类似 Lasso 的条件下表现良好，并且无需更多的计算资源。在实验中，我们发现我们的方法在真实数据和模拟数据上均表现出色。

    Dec, 2014

  • 筛选非参数工具变量回归的最优均匀收敛速度

    研究非参数回归问题时，回归器是内生的，这是计量经济学中重要的非参数工具变量回归（NPIV）回归，也是统计学中具有未知操作符的困难不逆问题。我们首先建立筛估计器的一般上界，允许内生回归器和弱依赖数据。这个结果导致了样条和小波最小二乘回归估计量在弱相关数据和重尾误差项下的最优准则率。

    Nov, 2013

  • 大步长非参数随机逼近

    本文研究了基于再生核 Hilbert 空间（RKHS）框架下的随机设计最小二乘回归问题，其中采用平均非正则化最小均方算法得到了最优收敛速率。

    Aug, 2014

  • 在线非参数回归

    基于顺序熵，确立了在线回归的最佳速率，发现最佳速率具有类似于独立同分布 / 统计学习情况的相变。此外，展示了一种享有建立的最佳速率的通用预测器和一种设计在线回归算法且计算高效的方法。

    Feb, 2014

  • 高维广义线性模型中基于流数据的自适应无偏 SGD

    在线统计推断使得实时分析顺序采集的数据成为可能，本文引入了一种针对高维广义线性模型的在线推断新方法，通过在每次新增数据到达时更新回归系数估计和其标准误差，与现有方法相比，该方法以单次传递模式运行，大大降低了时间和空间复杂度。方法的核心创新在于针对动态目标函数设计的自适应随机梯度下降算法，结合了一种新型的在线去偏过程，能够在有效控制由动态变化的损失函数引入的优化误差的同时，保持低维度的摘要统计量。我们的方法，即近似去偏套索（ADL），不仅减轻了有界个别概率条件的需求，而且显著提高了数值性能。数值实验证明了所提出的 ADL 方法在各种协方差矩阵结构下一致表现出鲁棒性。

    May, 2024

  • 在线学习作为正则化路径的随机逼近

    本文介绍一种在线学习算法，该算法是收敛于再生核希尔伯特空间（RKHS）中的回归函数的正则化路径的顺序随机逼近。通过小心选择增益或步长序列，我们展示了可以生产出批量学习的最佳已知强收敛速率，并给出了弱收敛速率，其在文献中达到了最小化和个人较低速率的最优水平，并利用 Hilbert 空间中鞍点型不等式为鞍点型型不等式的马尔可夫过程推导出几乎肯定的收敛。通过类似于批量学习设置的偏差 - 方差分解，我们证明偏差包括沿正则化路径的逼近误差和漂移误差，这些误差显现了相同的收敛速率，而方差则来自样本误差，分析为反向鞍点型差分序列，上述速率通过偏差和方差之间的最佳折衷得到。

    Mar, 2011