实用的逐块神经网络架构生成
本文介绍了一种基于 Q 学习和 epsilon-greedy 探索策略的块状网络生成方法 BlockQNN,并通过堆叠块生成高性能卷积神经网络。该方法相较于手工设计的网络具有更强的泛化性和搜索空间的显著减小,且在图像分类方面具有最先进的成果。
Aug, 2018
使用元建模算法 MetaQNN 根据强化学习自动生成高性能卷积神经网络 (CNN) 结构,可以在图像分类基准测试中击败同层级别的现有网络,并且相比其他网络设计元建模方法具有更好的效果.
Nov, 2016
该论文介绍了使用强化学习和一次性训练为指导原则的自动神经架构搜索框架 DQNAS,用于生成具有优越性能且具有最小可扩展性问题的神经网络架构。该框架可以减少设计卷积神经网络的时间和测试成本。
Jan, 2023
本文介绍了一种使用 Cartesian 遗传编程自动构建卷积神经网络结构的方法,并通过将其应用于 CIFAR-10 数据集的图像分类任务验证了该方法的有效性。
Apr, 2017
本文提供了一种 Quantum Convolutional Neural Network (QCNN) 体系结构设计的新方法,使用 Neural Architecture Search (NAS) 技术生成一系列常用的 QCNN 体系结构,并在音乐类型分类数据集上进行了评估,为 NAS 提供了 QCNN 搜索空间设计的框架,最后实现该框架作为开源的 Python 包。
Oct, 2022
本论文提出了一种基于分层深度强化学习的自动量化技术 AutoQ,可以自动搜索每个权重核的量化位宽,以及每个激活层的另一个量化位宽,并极大地提高了卷积神经网络的推断性能,同时保持了推断精度。
Feb, 2019
本文提出了一种基于深度神经网络的自动化设计架构的新框架,该框架使用强化学习代理作为元控制器,通过功能保持变换在当前网络的基础上,尝试增加网络深度或层宽。在 CIFAR-10 和 SVHN 基准数据集上的测试表明,该方法在受限的计算资源下可以设计出具有高竞争力的网络,并在不使用跨层连接的条件下实现了 4.23%的测试误差率。
Jul, 2017
本文针对计算机视觉中的问题使用卷积神经网络,通过创建 CNN 类似的衔接循环的分析模型,研究如何对 CNN 计算进行阻塞以获得内存局部性,自动推导出常见网络的优化阻塞,提高了定制硬件实现的能效,与传统 CNN 基于高度调整的手动优化 BLAS 库的 CPU 实现相比,我们实现的最优阻塞 x86 程序将内存访问次数降低了高达 90%。
Jun, 2016
本文介绍一种基于辅助门控机制的结构化网络剪枝方法,通过给主干网中的块分配重要性标记,并提出了一种块级剪枝的投票策略来解决移动设备上使用卷积神经网络时遇到的成本问题。通过知识蒸馏的三阶段训练计划,提高了模型性能,实现了更好的压缩率。实验证明该方法在分类任务中可以取得最先进的压缩性能。此外,通过提供预训练模型,我们的方法可以与其他剪枝方法协同集成,从而实现比未剪枝模型更优异的性能,并减少了超过 93%的浮点运算。
May, 2022