weight-sharing | BriefGPT - AI 论文速递

关键词weight-sharing

搜索结果 - 9

平衡和确定性权值共享促进网络性能
使用权重共享（weight-sharing）的方法研究了神经网络（neural network）中的不同哈希函数以及它们对神经网络性能的影响。
PDF7 months ago
现代神经网络结构的克罗内克分解近似曲率
使用 K-FAC 方法优化神经网络架构中的线性权重共享层，在不同的设置下展开和缩小两种变体都能加快训练速度，缩减了计算成本并提升了训练效果。
PDF8 months ago
基于动态等度性的严格公平神经结构搜索
本文提出了一种基于动力等距原理的新型神经体系结构搜索算法，解决了现有权重共享策略的不足之处，实现了公平性和稳定的训练性能，并在 ImageNet 分类任务中取得了最先进的 top-1 验证准确性。
PDFa year ago
Transformer 工作记忆促进正则语言推理和自然语言长度外推
RegularGPT 是一种新型 Transformer 变体，通过 Weight-Sharing、Adaptive-Depth 和 Sliding-Dilated-Attention 实现基于深度的工作记忆，并成功地对 PARITY 等正
PDFa year ago
CVPR通过候选增强和渐进式训练来改善超网的排名相关性
通过重新设计超网络的子网络，逐步添加窄分支以减少权重共享的程度并提高排名相关性，可以有效减轻不同候选网络之间的相互干扰，从而提高了神经结构搜索的自动化设计效率。该方法在 CVPR2021 轻量级 NAS 挑战赛超级网络赛道中获得了第一名。
PDF3 years ago
重新思考神经操作以应对多样化任务
研究 AutoML 的目标是自动化设计在未经探索的领域中新任务的神经网络。通过引入一种名为 XD-Operations 的操作搜索空间，从标准骨干网络 ResNet 开始，通过简单的权重共享方案遍历空间，针对 PDE 求解，蛋白质折叠距离预
PDF3 years ago
分享还是不分享：对共享权重的全面评估
本研究采用 NASbench 数据集来测试 Weight-sharing 算法在搜索空间上的效率，通过与随机搜索的比较，我们发现虽然两种方式的结果具有一定的相关性，但 Weight-sharing 算法并不能显著提高了神经架构搜索的效率，且
PDF4 years ago
深入探究神经架构搜索中的权重共享
本文探究权重共享对神经架构搜索的影响，发现权重共享导致模型表现差异显著，同时也可以从共享权重的超级神经网络中提取有价值的信息，并提出适度减少权重共享的方法来减少差异性并提高性能。
PDF4 years ago
利用 BONAS 缩小基于样本和一次通的神经架构搜索之间的差距
本篇论文介绍了一种名为 BONAS 的基于贝叶斯优化的神经架构搜索框架，该框架使用图卷积网络预测器作为代理模型以在每次迭代中选择多个相关的候选模型，并采用权重共享方法来同时训练多个候选模型。该方法不仅可以显著加速传统的基于采样的方法，而且可
PDF5 years ago