Jul, 2022
基于梯度的双层优化在深度学习中的应用
Gradient-based Bi-level Optimization for Deep Learning: A Survey
Can Chen, Xi Chen, Chen Ma, Zixuan Liu, Xue Liu
TL;DR本篇综述论文研究了基于梯度的双层优化方法在深度学习中的应用和发展,通过探讨单任务和多任务优化问题的双层公式和四种优化器的应用,展示其在优化超参数和提取元知识方面的实用性和高效性,最后指出其广阔的科学问题应用前景。