sparse subnetwork | BriefGPT

关键词sparse subnetwork

搜索结果 - 5

彩票适应性：减轻 LLM 中的破坏性干扰
Lottery Ticket Adaptation (LoTA) is a sparse adaptation method for large language models that improves performance on mu
PDF8 days ago
面向卷积神经网络的广义熵稀疏化
卷积神经网络 (CNNs) 被报道为过参数化。本文提出了一种基于数学思想的逐层数据驱动剪枝方法，旨在通过最小化网络熵来找到稀疏子网络，以解决网络架构搜索的复杂性问题。该方法在多个基准测试中得到验证，并在中稀疏度达到 55%-84% 时准确度
PDF3 months ago
抽奖票据假设调查
抽奖票假设（LTH）指出，一个密集的神经网络模型包含一个高度稀疏的子网络（即获奖票），当单独训练时可以实现比原始模型更好的性能。尽管 LTH 已经在许多工作中经过了经验和理论上的证明，但仍然存在一些待解决的问题，如效率和可扩展性。此调查旨在
PDF4 months ago
ICLR两个电路的故事：稀疏和密集子网络的竞争
研究了 Grokking 现象，发现由于神经元之间的竞争，模型有一个稀疏子网络，此网络随着优化时神经元的快速标准增长而出现，这个网络在 grokking 相变后主导模型预测。
PDFa year ago
抓到偷走我中奖彩票的人！声明我的彩票所有权
本文研究使用基于图形签名和触发器集的稀疏拓扑信息进行彩票验证，以防止知识产权侵权和确认所有权。实验表明，该方法对不同模型和攻击有鲁棒性。
PDF3 years ago