本文提出了一种广义的函数线性回归模型，包括函数线性模型、泊松回归和二项回归，并使用截断 Karhunen-Loeve 展开逼近预测过程进行降维，开发了一种适用于广义回归模型的渐近推断方法，其中截断参数随样本大小而增加，并应用控制变量的中心极限定理来建立维数的渐近增加，建立合适的 L^2 度量下的估计和真实函数之间的适当缩放距离的渐近正态性。

May, 2005

通过提出鲁棒性函数主成分和鲁棒线性回归结合的两步估计方法和一种可以减少估计曲率的转换，本研究在椭圆分布下证明了这些估计量的 Fisher 一致性和在温和正则性条件下的一致性，探究了这些估计量的影响函数，模拟实验表明，相比现有的方法，所提出的估计方法具有合理的效率、能够防止出现异常预测点、产生平滑的估计值，并表现良好。

Jun, 2018

本文提出了一种基于 Reproducing Kernel Hilbert Spaces 的估计方法，建立了在预测误差方面我们估计的最优收敛率的非线性函数回归模型，并讨论了在这些复杂模型中出现的计算挑战。同时提供了仿真及应用：在 2008 年金融危机期间的累积日内回报。

Aug, 2017

该文介绍了一种新的回归算法，它学习线性因子函数，并解决了维度灾难的问题，可用于信念传播和强化学习等应用。通过正则化的贪心优化方案，在训练期间学习因子基函数。新的回归算法在基准任务上表现竞争力，学习的线性因子函数相当精简。

Dec, 2014

利用非参数预测的线性特征学习方法 RegFeaL，同时估计预测函数和线性子空间，经过实验证实其在不同实验中的表现。

Jul, 2023

我们考虑相关的因子回归模型（FRM），并分析经典岭插值器的性能。利用强大的随机对偶理论（RDT）数学引擎，我们得到了基于最优化问题和所有相关优化量的精确闭合形式表征。特别地，我们提供了过度预测风险的表征，清楚地展示了对所有关键模型参数、协方差矩阵、载荷和维度的依赖性。作为过参数化比例的函数，广义最小二乘（GLS）风险也表现出众所周知的双下降（非单调）行为。与经典线性回归模型（LRM）类似，我们证明了这种 FRM 现象可以通过最优调整的岭正则化来平缓。理论结果得到了数值模拟的补充，并观察到两者之间的极好一致性。此外，我们注意到 “岭平滑” 通常在超参数化比例大于 5 时效果有限，并且在超参数化比例大于 10 时几乎没有效果。这加固了最近最流行的神经网络范式之一 ——“零训练（插值）广义良好泛化”—— 在 FRM 估计 / 预测环境中具有更广泛的适用性。

Jun, 2024

通过调整回归分析中的稳定和不稳定预测来考虑不同实验或环境的分布变化，引入了稳定回归分析的方法，使之前未见过的环境下的回归能力得到优化，应用于系统生物学研究中的假设生成并与因果模型建立理论关联，给出了优化的稳定点，并证明了在该点回归预测模型的预测误差最小。

Nov, 2019

通过在线协议，本文针对线性回归问题中的预测版本进行了研究，提出了一种预测方法，能够在参数估计之前找到相关的预测间隔，最终得到的错误率符合预期的统计波动性。

Jun, 2009

本文提出一种扩展 Interaction-Transformation 方法的新函数形式，称为 Transformation-Interaction-Rational representation，通过对目标变量的变换，并使用两个 Interaction-Transformation 函数的有理数形式，提高了模型的近似能力。在大型基准测试中取得了与尖端性能相当的结果。

Apr, 2022

通过函数导数的方法，我们提出了 FAR（函数对齐回归）作为一种更好更高效的解决方案，以适应底层真实函数，并在 2 个合成数据集和 6 个基准数据集的 8 个广泛真实世界任务中，与其他 8 个竞争基线进行实证展示。

Feb, 2024