- 学习多样特征之和:计算难度和基于梯度的高效训练用于冈脊组合
研究具有加法结构的目标函数学习的计算和样本复杂性,证明了多项式 target function 可以通过梯度下降法训练两层神经网络高效地学习,同时建立了统计查询算法的边界。
- 张量多项式加法模型
我们提出了张量多项式加法模型(TPAM),通过保留高阶输入的多维结构信息和使用分层低阶对称张量逼近来压缩模型参数,能够捕捉到复杂的高阶特征交互,并提高最高达 30%的准确性和 5 倍的压缩率,同时保持可解释性。
- 用于加性非参数回归的随机梯度下降
该论文介绍了一种迭代算法,用于训练具有有利的内存存储和计算要求的加法模型。该算法可以被视为随机梯度下降的函数对应物,应用于组成函数的截断基函数的系数。我们证明了所得到的估计器满足一个预言不等式,可以容许模型错误规定。在规范设置下,通过在培训 - 高维贝叶斯优化:基于有重叠分组加性模型
本文提出了一种新的基于加性模型的贝叶斯优化算法,可以高效地处理存在重叠子集的高维函数优化问题,并通过图上的信息传递算法优化其采集函数,同时提出了通过 Gibbs 抽样学习其结构的算法,实验证明该方法在合成数据和真实数据上都具有良好效果。
- 含趋势过滤的加法模型
本研究采用趋势滤波构建的加法模型,使每个组件都受其 k(离散) 导数的(离散)全变差正则化,以得到 k次片段多项式组件。我们推导出加法趋势滤波估计的快速误差率,表明当基础函数为可加性函数且 - ICML通过 SALSA 进行高维非参数回归的加性逼近
本文提出一种介于非加性模型和一阶加性模型之间的中间阶加性模型 SALSA,使模型可以同时考虑变量间的交互和模型容量控制,并将此模型用于高维非参数回归中,具有良好的性能表现。
- 稀疏高斯过程模拟局部和全局现象
本文提出了一种新的稀疏高斯过程模型,它包含两个加性组件:全局稀疏近似和具有紧支撑协方差函数的协方差函数,我们使用实际数据集表明,与全局稀疏近似和部分独立条件(PIC)逼近相比,我们的模型在具有两个加性现象的数据集中表现出色。
- 高维高斯过程建模的加性协方差核
本文旨在探讨适用于构建加法 Kriging 模型的协方差核,并描述所得模型的一些特性。
- 高斯过程建模的可加核函数
本文介绍了一种将加性模型与高斯过程相结合的方法,并提出了一种用于数据驱动参数估计的简明数值方法。通过休息技术,本方法在 Sobol's g-function 中的表现效果优于其他方法。