Sep, 2023
无限宽度双层 ReLU 神经网络的同伦放松训练算法
Homotopy Relaxation Training Algorithms for Infinite-Width Two-Layer ReLU Neural Networks
Yahong Yang, Qipin Chen, Wenrui Hao
TL;DR本研究提出了一种名为同伦松弛训练算法（HRTA）的新型训练方法，旨在加速传统方法中的训练过程。算法融合了两种关键机制：一种涉及构建一个同伦激活函数，将线性激活函数和 ReLU 激活函数无缝连接；另一种技术涉及松弛同伦参数以增强训练的精细化过程。我们对这种新方法在神经切线核（NTK）的背景下进行了深入分析，揭示了显著改善的收敛速率。尤其是在考虑较大宽度的网络时，我们的实验结果验证了理论结论。该提出的 HRTA 方法在其他激活函数和深度神经网络中展示了潜力。