ICLRApr, 2023
通过神经网络分区进行超参数优化
Hyperparameter Optimization through Neural Network Partitioning
Bruno Mlodozeniec, Matthias Reisser, Christos Louizos
TL;DR本篇论文提出了一种简单且高效的方法来优化神经网络的超参数，采用无需验证数据的优化目标 —— 边缘似然来实现，将训练数据和神经网络模型分别划分为 $K$ 个数据分片和参数分区，仅在特定的数据分片上关联并优化每个分区，然后将这些分区组合成子网络，通过所定义的子网络的 “训练外样本” 损失作为超参数优化的目标来优化多种不同类型的超参数。最后，该方法特别适用于在联邦学习中优化超参数的情况，其中重新训练和交叉验证尤为具有挑战性。