sparse subnetworks | BriefGPT

关键词sparse subnetworks

搜索结果 - 6

早鸟获得蠕虫：启发式加速早鸟收敛
WORM 方法研究了 Lottery Ticket 假设和 Early Bird 假设，通过利用静态组中的不重要神经元来加速模型训练和减少计算量，提高了模型的鲁棒性并适用于不同的架构。
PDFa month ago
Meta-ticket: 在随机初始化的神经网络中找到最佳的少样本学习子网络
本论文提出了一种名为 Meta-ticket 的元学习方法，通过对随机初始化的神经网络进行优化，找到最佳的稀疏子网络以实现少样本学习，进而实现任务自适应能力，其效果优于基于 MAML 的方法，尤其是在大型神经网络上。
PDF2 years ago
ICLR关于通用彩票券的存在
本文证明了稀疏子网络（所谓 “奖券假设”）不仅存在于深度神经网络中，而且它所具有的普适性无需进行进一步训练，这一理念可通过本文提出的剪枝推导和显式稀疏结构的方式予以证明。
PDF3 years ago
PARP：自监督语音识别的剪枝、调整和再剪枝
通过发现语音自监督训练模型中的稀疏子网络，提出了一种名为 PARP 的裁剪调整反复裁剪的策略，使低资源情况下的 ASR 系统表现得更好，其相较于常规的裁剪方法更具有性价比。
PDF3 years ago
EMNLP评估抽奖彩票在分布转移下的表现
本文研究了 Lottery Ticket Hypothesis 在分布转移下的稀疏子网络初始化及转移时的效果，并验证了这种初始化策略的归纳偏差可被应用于多个领域。
PDF5 years ago
发现神经连线
本文提出一种新的神经网络结构发现方法，即通过松弛层的概念，通过管道形式构建独立互连通道的方式提出了一种新的网络架构组合方式，可以学习具有比手动设计和随机网络更高的准确性的神经网络结构，并可用于移动定时网络和稀疏子网络发现。
PDF5 years ago