Jun, 2020

基于理论的路径正则化差分网络结构搜索

TL;DR通过对DARTS进行理论分析,我们证明了带有更多跳跃连接的体系结构可以比其他候选体系结构更快地收敛,从而被DARTS选中。基于这个结果,我们提出了一种理论启发式的路径正则化DARTS(path-regularized DARTS),其中包括两个关键模块:为避免操作间的不公平竞争而引入的差分分组稀疏二进制门,以及用于激发搜索探索的路径-深度正则化,旨在搜索深层结构,从而验证了其优势。