Apr, 2022
通过遍历权重空间的功能不变路径来构建灵活的机器学习系统
Engineering flexible machine learning systems by traversing functionally invariant paths in weight space
Guruprasad Raghavan, Matt Thomson
TL;DR通过构建具有功能等效性的网络的路径连接集合，将神经网络的权重空间视为弯曲的黎曼流形并沿着功能不变路径将网络移动，同时寻找满足次要目标的网络，通过路径抽样算法，能够训练具有数百万权重参数的神经网络来学习一系列分类任务而不会损失性能，同时适应包括网络稀疏化，增量任务学习和增加对抗强度在内的次要目标。