ICMLJul, 2020

RicciNets: 利用 Ricci Flow 进行曲率引导修剪的高性能神经网络

TL;DR提出了一种在训练之前识别随机连接神经网络中显著计算路径的新方法,该计算图根据本地图测量定义的节点质量概率函数进行修剪,并由基于强化学习的控制神经网络产生的超参数进行加权。使用 Ricci 曲率的定义来删除低重要性的边。该方法显示出几乎 35%的 FLOPs 次数每次操作的减少,而不会降低性能。此外,该方法可以基于纯粹的结构属性成功地调整随机连接的神经网络,并发现在一种网络中发现的有利特性普遍适用于其他网络。该方法产生的网络在类似于最低幅度权重修剪的压缩下具有更好的性能。据我们所知,这是关于修剪随机连接神经网络的第一篇工作,也是第一篇在修剪机制中利用 Ricci 曲率的拓扑度量的工作。