Oct, 2021

BNAS v2: 二进制网络结构学习与实证优化

TL;DR该论文提出了一种基于单元的搜索方法,通过为二进制网络定义新的搜索空间和新的搜索目标,重新定义二进制层类型,设计一种新的单元模板,提出使用 Zeroise 层来代替占位符,并进一步提出了改进我们搜索到的体系结构的训练方案。经过定量分析,实验结果表明,与采用其他技术的现有二进制网络相比,使用该方法搜索的体系结构性能更好且训练曲线更加稳定,通过新的训练方案进一步提升了性能并在二进制网络中实现了领先的表现。