稳定的变量选择和回归

Nov, 2019

Stabilizing Variable Selection and Regression

Niklas Pfister, Evan G. Williams, Jonas Peters, Ruedi Aebersold, Peter Bühlmann

TL;DR通过调整回归分析中的稳定和不稳定预测来考虑不同实验或环境的分布变化，引入了稳定回归分析的方法，使之前未见过的环境下的回归能力得到优化，应用于系统生物学研究中的假设生成并与因果模型建立理论关联，给出了优化的稳定点，并证明了在该点回归预测模型的预测误差最小。

Abstract

We consider regression in which one predicts a response $Y$ with a set of predictors $X$ across different experiments or environments. This is a common setup in many data-driven scientific fields and we argue tha

regression predictors distributional changes stabilized regression multi-environment regression

发现论文，激发创造

锚定回归：异质数据迎接因果关系

本文研究了在训练数据与测试数据分布不同的情况下，利用 anchor regression 方法通过使用外生变量来预测响应变量，并提高其可复现性和分布鲁棒性。

Jan, 2018

序列数据的不变因果预测

本文提出了一种方法来从时间序列数据中推断出因果关系，该方法能够识别因果预测变量并保持环境和异质性模式不变。

Jun, 2017

广义函数线性模型

本文提出了一种广义的函数线性回归模型，包括函数线性模型、泊松回归和二项回归，并使用截断 Karhunen-Loeve 展开逼近预测过程进行降维，开发了一种适用于广义回归模型的渐近推断方法，其中截断参数随样本大小而增加，并应用控制变量的中心极限定理来建立维数的渐近增加，建立合适的 L^2 度量下的估计和真实函数之间的适当缩放距离的渐近正态性。

May, 2005

利用回归不变性学习因果结构

在多环境中研究因果推断，介绍使用变量的功能关系的不变性来推断算法的完整性，提出了基线算法和交替算法，并展示了与其他现有算法相比所提出算法的性能优势。

May, 2017

通过变量选择稳定性实现调参参数的一致性选择

本文提出了一种基于变量选择稳定性的通用调参方法，通过选择调参，使得结果回归模型在变量选择上更加稳定，并在固定和发散维度下建立了选择一致性，同时在多种模拟示例和前列腺癌数据应用中证明了其有效性。

Aug, 2012

稳定性选择

介绍一种名为稳定性选择的高维数据结构估计方法，结合子抽样和选择算法，提供透明的原则以选择适当的正则化量来改善结构估计的可变性选择和图形建模。

Sep, 2008

高维变量选择

本文讨论了在高维模型中进行变量选择时可以给出什么样的统计保证，并以某些多阶段回归方法的误差率和功率为例。我们考虑了三种筛选方法：套索、边际回归和前向逐步回归，提出了在某些条件下一致的变量选择方法。

Apr, 2007

高维回归分析中的因子模型和变量选择

本文提出了一种因子方法来同时考虑模型选择和功能回归的视角，通过将预测向量分解为反映解释变量的共同因素和特定变异性的两个不相关随机分量，以包括主成分作为额外的解释变量在增广回归模型中，维度高于样本大小的线性回归问题中传统假设的稀疏向量参数是具有限制性的，模型选择程序可以用于估计增广模型的参数，并得出其理论性质和有限样本表现。

Feb, 2012

分布泛化的因果框架

研究对于在测试和训练分布不同时的结构因果模型中预测响应变量和协变量之间关系的问题，提出了基于因果回归模型和最小化最坏风险的方法，并且介绍了一个配合数据实现最小化风险的框架和方法 NILE。

Jun, 2020

不变性、因果性和鲁棒性

本论文讨论了概率不变性或稳定性的概念及其如何应用于因果推断与预测鲁棒性问题。同时提出了一种用于风险最小化问题的因果形式化方法，通过估计常常出现在数据收集中的异构性或扰动数据来确定这种不变性。此新方法在许多应用中具有潜在的实用价值，比标准回归或分类框架中的机器学习或估计方法提供了更强的鲁棒性和更好的因果解释。

Dec, 2018