Aug, 2023

计算深度神经网络正则化路径的多目标延续方法

PDF
TL;DR稀疏性、深度神经网络、正则化路径、经验损失和帕累托前沿是研究论文的主要关键词和研究领域。
sparsitydeep neural networksregularization pathsempirical losspareto front
发现论文，激发创造
  • 非参数稀疏性和正则化

    研究非线性模型下的监督学习与变量选择问题，提出一种基于偏导数的非参数稀疏模型，利用再生核希尔伯特空间的概念和近端方法得出最小化问题及迭代求解算法，并通过理论和实验分析表明其具有优秀的性能表现。

    Aug, 2012

  • 一种统一的动态方法用于稀疏模型选择

    本文提出一种简单的迭代正则化路径方法，通过稀疏 Mirror Descent 算法或带有非线性损失的 Linearized Bregman 迭代的动态，在 Restricted Strong Convexity (RSC) 和 Irrepresentable Condition (IRR) 的限制下，以达到不出错的子空间为首要目标，运用于稀疏逻辑回归和 Ising 模型的 NIPS 合著问题上，其性能与 glment 相当，进一步减小了偏差。

    Oct, 2018

  • 基于凸优化的结构稀疏化

    本文介绍了一种基于结构规则的稀疏估计方法，通过应用不仅仅关注稀疏性，而且可以考虑一些结构化先验知识，这种方法可以处理多种结构的问题。同时，我们还介绍了该方法在无监督学习、非线性变量选择等方面的应用。

    Sep, 2011

  • 稀疏惩罚优化

    本文介绍从一般的角度分析在使用稀疏估计方法中相关的优化工具和技术，包括近端方法、块坐标下降、加权 L2 正则技术、工作集和家族方法以及非凸形式和扩展。同时，我们提供了一组广泛的实验来比较各种算法在计算方面的差异。

    Aug, 2011

  • 基于正则化的深度神经网络结构中不相关参数修剪

    本研究提出了一种基于正则化技术实现学习稀疏神经拓扑结构的方法，包括对非相关权重标定、压缩优化以及迭代式意义下的参数消除。在图像分类与自然语言生成任务中进行测试，并通过数据指标达到与或优于竞争对手等表现。

    Apr, 2022

  • 深度神经网络的分组稀疏正则化

    探讨了深度神经网络、特征选择和优化之间的关系，并通过引入 Group Lasso penalty 的方法，同时解决了三个问题，证明此方法可以在大规模分类任务上有效地实现。

    Jul, 2016

  • 截断梯度稀疏在线学习

    这篇论文提出了一种新方法，称为截断梯度 (truncated gradient)，可以在凸损失函数的在线学习算法中诱导稀疏性，该方法具有连续控制稀疏化程度的参数，类似于 $L_1$ 正则化方法，理论上可以证明小的稀疏化率仅会导致额外的小代价，并且在实践中取得了良好的效果。

    Jun, 2008

  • 从贝叶斯稀疏到门控循环神经网络

    本文指出，关于促进稀疏性的更强大的贝叶斯算法具有类似于长短期记忆 (LSTM) 网络或先前设计用于序列预测的替代门控反馈网络的结构，从而导致了一种新的稀疏估计系统，当授予训练数据时，可以在其他算法失败的方案中高效地估计最优解，包括在实际方向 - 到达 (DOA) 和三维几何恢复问题中。

    Jun, 2017

  • 用于非线性偏微分方程的稀疏深度神经网络

    本文通过使用深度神经网络结合稀疏规则化技术，针对非线性偏微分方程的解进行了数值研究，结果表明该方法在求解 Burgers 方程和 Schrödinger 方程时能够生成稀疏且准确的解。

    Jul, 2022

  • 稀疏深度神经网络训练的多目标优化

    深度学习中存在多个冲突的优化准则，本文提出了一种多目标优化算法，使用修改后的加权切比雪夫标量化方法来训练深度神经网络 (DNNs)，并通过实验证明了可以在训练过程中自适应地稀疏化模型，而不显著影响其性能。

    Aug, 2023