高维非参数回归和分类的稀疏输入神经网络
本文提出使用组凸正则化的稀疏输入神经网络框架,用于解决在高维数据中进行的变量筛选和非线性函数估计的问题。通过对每个输入节点的所有出节点的权重的 L2 范数应用适当的凹值惩罚,从而为每个问题生成一个小型子集,取得了令人满意的有限样本性能和稳定的解决方案。
Jul, 2023
研究非线性模型下的监督学习与变量选择问题,提出一种基于偏导数的非参数稀疏模型,利用再生核希尔伯特空间的概念和近端方法得出最小化问题及迭代求解算法,并通过理论和实验分析表明其具有优秀的性能表现。
Aug, 2012
基于经验风险最小化与 l_1 正则化的深度神经网络估计器,我们推导出其在回归和分类(包括多类别)中的过量风险的一般界限,并证明它在各种函数类的整个范围内几乎达到最小值(取对数因子)。
Nov, 2023
本文通过使用深度神经网络结合稀疏规则化技术,针对非线性偏微分方程的解进行了数值研究,结果表明该方法在求解 Burgers 方程和 Schrödinger 方程时能够生成稀疏且准确的解。
Jul, 2022
使用基于稀疏连接 ReLU 激活函数的深层神经网络,通过适当选择网络结构实现多变量非参数回归模型的极小极限 (最优) 收敛速率 (最多出现 $log n$- 因子),同时为多层前馈神经网络表现良好提供理论解释,并表明在不用结构约束的情况下,调整深度可以使模型的性能更好。
Aug, 2017
探讨了深度神经网络、特征选择和优化之间的关系,并通过引入 Group Lasso penalty 的方法,同时解决了三个问题,证明此方法可以在大规模分类任务上有效地实现。
Jul, 2016
LassoNet 是一个神经网络框架,它使用了全局特征选择。我们的方法使用了一个修改的目标函数来集成特征选择和参数学习,并且提供了正则化路径和稀疏性范围。在系统实验中,LassoNet 显著优于特征选择和回归的最新方法。
Jul, 2019
本研究介绍了一种使用稀疏计算的神经网络训练和构建方法,通过引入额外的门变量来执行参数选择,并在小型和大型网络上进行实验验证,证明了我们的方法在稀疏神经网络模型的压缩方面取得了最先进的结果。
Nov, 2016