May, 2017

神经网络超参数优化的有效算法

PDF
TL;DR本文中提出了一种基于箱限制数学优化问题的方法，运用光滑径向基函数模型及无导数优化工具去寻找神经网络的最佳参数。该方法是自动的且可有效地搜索参数空间，其应用于药物相互作用的预测中具有良好的效果，并且所用的优化工具是开源的。
neural networkmathematical optimizationparameter optimizationradial basis function modeldrug-drug interactions
发现论文，激发创造
  • 使用概率建模动态优化神经网络结构

    本文提出一种方法在深度神经网络训练期间同时优化网络结构和权重参数的概率分布，可用于解决多种网络结构优化问题，包括层次选择、单元类型选择和连接选择，实验结果表明该方法能够找到适当且具有竞争力的网络结构。

    Jan, 2018

  • 超参数优化：算法和应用综述

    利用自动超参数优化来设计和训练深度学习中的神经网络仍然是一个令人困惑和具挑战性的过程。本文对多种重要的自动超参数优化相关主题进行了回顾和研究：关键超参数、主要优化算法、超参数搜索框架、模型性能评估等。

    Mar, 2020

  • 基于多目标的深度学习参数优化调查

    本研究探讨了多目标优化策略与深度神经网络结合的有效性，通过案例研究证明了该方法在多种应用程序中生成预测和分析方面具有价值。

    May, 2023

  • 元启发式设计前馈神经网络：二十年研究综述

    本文总结了传统和元启发式方法，连接了神经网络进化，合作共同进化 NN，复数 NN，深度学习，极端学习机，量子 NN 等的研究方向，提出了未来应对现代信息处理的有趣研究挑战。

    May, 2017

  • 用于过程动力学建模目的的自动选择最佳循环神经网络架构

    通过演化算法和梯度下降方法，本研究提出了四种算法来寻找人工神经网络结构，用于行为（黑箱）建模特定的动态过程。在研究中，采用了经过优化选择的循环型人工神经网络，优化的目标是在学习的数学模型响应下，平衡神经网络的规模和准确性。并通过数学模型验证研究中提出的演化算子的有效性。

    Sep, 2023

  • 通过超网络进行随机超参数优化

    该研究探讨了一种利用神经网络将模型的权重作为超参数的函数，实现对超参数和模型权重进行联合随机优化的方法，相较于传统的超参数优化方法，本方法在调整上千个超参数方面更加有效。

    Feb, 2018

  • 深度神经网络结构和超参数优化的算法框架

    本篇论文提出一种基于演化有向无环图的算法框架，自动生成高效的深度神经网络并优化其相关超参数，与已有文献中的搜索空间相比更具灵活性，能优化网络的结构和超参数，已经在时间序列预测基准测试中得到了实验结果的验证。

    Feb, 2023

  • 机器学习算法超参数优化：理论与实践

    本篇论文研究了常见机器学习模型的超参数优化，介绍了一些最先进的优化技术，并讨论了如何将它们应用于机器学习算法。同时，也提供了许多用于超参数优化问题的库和框架，并在基准数据集上进行了实验，以比较不同优化方法的性能，提供超参数优化的实际例子。该综述论文将帮助工业用户、数据分析师和研究人员通过有效地识别适当的超参数配置来更好地开发机器学习模型。

    Jul, 2020

  • 用于超参数搜索的多目标牛顿优化算法

    本研究提出了一种基于牛顿法的多目标优化算法，用于超参数搜索。通过有限差分法计算一阶偏导数（梯度），形成矢量化梯度矩阵以进行快速计算。使用牛顿 - 拉夫逊迭代解更新模型参数，并引入正则化项来消除奇异性问题。该算法应用于卷积神经网络多类目标检测问题的搜索最优概率阈值（由八个参数构成的向量）。与使用默认值 0.5 相比，算法快速找到了改进的参数值，生成了整体更高的真阳性和更低的假阳性率。与之相比，贝叶斯优化在测试用例中表现较差。但是，性能和参数值在迭代过程中可能会震荡，这可能是由于主题的数据驱动的随机性质所致。因此，根据最佳的真阳性和假阳性结果，可以从迭代步骤列表中确定最优的参数值。

    Jan, 2024

  • 非参数神经网络

    本文使用非参数方法研究神经网络中自动寻找最佳规模的问题，提出了一种使用 Lp 惩罚项限制增长的方法，并使用 AdaRad 优化算法进行训练，取得了良好的结果。

    Dec, 2017