compact neural networks | BriefGPT

关键词compact neural networks

搜索结果 - 4

GhostNetV3：探索紧凑模型的训练策略
在本文中，我们通过系统研究不同的训练方法，为紧凑型模型引入了一个强大的训练策略，发现改良的重新参数化和知识蒸馏的设计对于训练高性能的紧凑型模型至关重要，而一些用于训练常规模型的常用数据增强方法，如 Mixup 和 CutMix，会导致性能下
PDF3 months ago
使用解缠树表示来解析神经策略
本文通过设计一种从紧凑神经策略中抽取树形表示的算法，并引入可解释性度量来评估网络对任务动态的发现能力，进一步量化提取决策路径的准确性和计算跨神经元逻辑冲突，成功应用于多种紧凑网络体系结构，并取得了显著的成果。
PDF2 years ago
通过信息瓶颈理解二元神经网络的学习动态
本文从信息瓶颈原理的角度分析了二值神经网络的训练动态，发现其不同于深度神经网络，同时发现二值神经网络会在表示压缩和损失拟合之间同时进行，从而发现其训练动态与激活函数无关
PDF4 years ago
ProjectionNet: 使用神经投影学习高效的设备端深度神经网络
引入一种新的紧凑型神经网络结构，该结构使用联合优化框架进行训练，包括一个全训练神经网络和一个利用随机投影进行输入或中间表示转换的简单的 “投影” 网络。使用全网络来指导投影网络的训练。经过训练的小型网络可以用于低内存和计算成本的推理，并且在
PDF7 years ago