Jul, 2023

朝着最佳神经网络：样本拆分在超参数选择中的作用

PDF
TL;DR本文针对神经网络在实际应用中的表现提出了一个新理论，通过发现在神经网络模型构建过程中的一个常见做法 —— 样本分裂的奥秘来探究其有效性，该理论表明，从样本分裂中得出的最佳超参数能够使神经网络模型渐近地最小化预测风险。我们在不同的应用场景和网络架构中进行了大量实验，结果证明了我们理论的有效性。
artificial neural networksapproximation powersample splittingprediction riskgeneralization performance
发现论文，激发创造
  • 分裂增强神经网络

    通过一种创新的训练策略，称为 Split-Boost，提高了前馈神经网络的性能，自动引入正则化行为，减少超参数数量和调优时间，在医疗保险设计问题中得到了验证。

    Sep, 2023

  • 通过神经网络分区进行超参数优化

    本篇论文提出了一种简单且高效的方法来优化神经网络的超参数，采用无需验证数据的优化目标 —— 边缘似然来实现，将训练数据和神经网络模型分别划分为 $K$ 个数据分片和参数分区，仅在特定的数据分片上关联并优化每个分区，然后将这些分区组合成子网络，通过所定义的子网络的 “训练外样本” 损失作为超参数优化的目标来优化多种不同类型的超参数。最后，该方法特别适用于在联邦学习中优化超参数的情况，其中重新训练和交叉验证尤为具有挑战性。

    Apr, 2023

  • 小数据，大决策：小数据情境下的模型选择

    本文通过实验证明，相比于之前研究中通常考虑模型大小因素对性能的影响，训练数据集的大小对模型性能的影响同样显著，实验结果发现，训练更小的数据子集可以带来更可靠的模型选择决策同时降低计算成本，并能估算出常见数据集在现代神经网络结构下的最小描述长度，为采用奥卡姆剃刀原则进行负责的模型选择提供了可能性。

    Sep, 2020

  • 神经网络超参数优化的有效算法

    本文中提出了一种基于箱限制数学优化问题的方法，运用光滑径向基函数模型及无导数优化工具去寻找神经网络的最佳参数。该方法是自动的且可有效地搜索参数空间，其应用于药物相互作用的预测中具有良好的效果，并且所用的优化工具是开源的。

    May, 2017

  • 重组重采样划分能够改善超参数优化的普适性

    超参数优化中，通过重新划分训练和验证数据集可以提高模型的泛化性能并降低计算成本。

    May, 2024

  • 解开样本大小和初始效果对单神经元目标完美泛化的影响

    过参数化模型，如深度神经网络，具有通过较少的采样数据点恢复目标函数的有趣能力。本研究集中研究了单神经元目标恢复场景，并系统地考察了初始化和样本大小对双层神经网络性能的影响。我们的实验证明，更小的初始化尺度与改善泛化有关，并确定了一个关键数量，称为 “初始不平衡比”，它管理着小初始化下的训练动力和泛化能力，该结果得到理论证明的支持。此外，我们经验性地划分了两个关键的样本大小阈值，称为 “乐观样本大小” 和 “分离样本大小”，与已有理论框架相契合。我们的结果表明了模型恢复目标函数能力的一个转变：在乐观样本大小之下，恢复是不可行的；在乐观样本大小时，通过零测度初始化集合，恢复变得可行。当达到分离样本大小时，可以成功恢复目标函数的初始化集合从零测度转变为正测度。这些从简化的背景中得出的见解，为理解过参数化神经网络中完美泛化的复杂性提供了观点。

    May, 2024

  • 神经网络的实际灵活性如何？

    神经网络对数据的拟合能力的研究发现，标准优化算法找到的最小值只能适应参数比样本数量少很多的训练集，卷积网络比多层感知机和视觉注意力变换模型更有效，随机梯度下降在拟合训练集方面比全批量梯度下降更好，对于正确和错误标记样本的拟合能力差异可以预测泛化性能，ReLU 激活函数能找到更多的数据拟合最小值尽管旨在避免深层神经网络中的梯度消失和梯度爆炸。

    Jun, 2024

  • 超参数优化：算法和应用综述

    利用自动超参数优化来设计和训练深度学习中的神经网络仍然是一个令人困惑和具挑战性的过程。本文对多种重要的自动超参数优化相关主题进行了回顾和研究：关键超参数、主要优化算法、超参数搜索框架、模型性能评估等。

    Mar, 2020

  • 我们需要谈论随机分割

    研究指出，NLP 领域的实验应当使用多重的、独立的测试集进行评估，以获得更真实的性能评估；当不可能使用多个测试集时，使用多个有偏差的划分方式可得到更接近真实的性能评估。

    May, 2020

  • 神经网络修剪的有效子集选择

    在一些领域（如医学数据）中，有大量的标注数据对于深度神经网络的效果至关重要。为了明智地选择待标注的数据（即子集选择问题），我们研究了子集选择和神经网络剪枝之间的关系，并建立了它们之间的联系。借鉴了神经网络剪枝的见解，我们提出了利用神经网络特征的范数准则来改进子集选择方法。我们在各种网络和数据集上进行了实证验证，证明了准确度的提高。这表明利用剪枝工具进行子集选择的潜力。

    Jun, 2024