supernet | BriefGPT - AI 论文速递

关键词supernet

搜索结果 - 23

CVPR离散化差异的魔鬼：用单阶段搜索协议来强化可微 NAS
神经架构搜索被广泛应用于各种计算机视觉任务，其中不可微分神经架构搜索是其中一个有前景的子领域。然而，基于梯度的方法受到离散化误差的影响，从而严重损害了获取最终架构的过程。我们的工作首次研究了离散化误差的风险，并展示了如何影响非规则化超网络。
PDFa month ago
CVPR增强神经架构搜索的顺序保持和可传递性：一种联合架构优化搜索和微调方法
Supernet 是许多最新的神经架构搜索（NAS）方法中的核心组件，本文提出了一种改进的搜索策略 ——Supernet Shifting，以改善局部排序能力和实现模型的迁移学习。
PDF4 months ago
TODM: 基于高效超网络的一次训练多次部署的 RNN-T 压缩方法，用于设备上的 ASR 模型
本文介绍了一种名为 TODM（Train Once Deploy Many）的新方法，用于高效训练多种硬件友好的设备上自动语音识别模型，通过适应性丢弃、Alpha 散度知识蒸馏和 ScaledAdam 优化器等技术改进了 TODM Supe
PDF10 months ago
用显式稀疏规则消除信息绕过泄漏来增强 DARTS 的鲁棒性
本研究提出了一种基于稀疏正则化近似和高效混合稀疏训练方案的改进方法，以消除训练过程中信息绕过泄漏，从而提高不确定性极大的 Differentiable architecture search (DARTS) 的鲁棒性。
PDFa year ago
混合超网络：通过架构路由的专家混合改进权重共享超网络训练
本文提出一种新的神经结构搜索方法，即混合超网，通过引入专家混合，提供了更加专业的模型选择，并通过路由机制调整各子网络的权重，有效提高了超网模型的性能，实验表明该方法在机器翻译和 BERT 模型中均取得了优异的性能。
PDFa year ago
基于频率调制的可调和可解释声音合成的神经架构搜索
利用神经架构搜索技术 (NAS)，本研究提出了一种不同 iable frequency modulation (FM) 合成器，该合成器可自动地从声音中发展出可以调的合成器，并且可以实现更好的效果比手工合成器。
PDFa year ago
CVPRPA&DA: 为一致的 NAS 联合采样路径和数据
借助权重共享机制，一次性 NAS 方法训练超级网络，然后继承预训练权重以评估子模型，这在很大程度上降低了搜索成本。然而，我们发现，在超级网络训练期间，权重共享会导致梯度下降方向不同，并且存在较大的梯度方差，该论文的方法旨在通过联合优化 PA
PDFa year ago
通过自蒸馏改进可微分架构搜索
本篇论文提出了一种基于自蒸馏不同的神经网络结构搜索方法，通过投票教师的方式引导折叠网络的训练，并且与现有最先进的神经网络结构搜索方法相比，实验结果表明了它的优越性。
PDFa year ago
AAAINAS-LID：具有本地固有维度的高效神经架构搜索
本文提出了一种基于局部内在维度的神经架构搜索方法 NAS-LID，有效地降低了异构子网络优化中性能排名的相关性干扰，实现了更高效的神经架构搜索。
PDF2 years ago
CVPR双侧耦合网络中的网络宽度搜索
该论文提出一种双向耦合网络（BCNet）来解决现有方法在超网络中存在的训练不公平问题，同时通过优化搜索空间和采用新的训练策略来实现更精确的网络宽度评估。通过实验证明，该方法可以获得良好的效果，并在网络结构的优化中进一步提升性能表现。
PDF2 years ago
CVPRGreedyNASv2: 带有贪心路径过滤器的贪心搜索
本文提出了一种基于路径过滤器和正无标记学习的方法 ——GreedyNASv2，以更有效地训练好的 supernet 进行一次 NAS，从而在 ImageNet 数据集上达到 81.1％的 Top-1 准确率。
PDF3 years ago
ICCVPi-NAS: 减少超级网络训练一致性偏移，提高神经结构搜索效率
Pi-NAS 是一种非平凡的超网 - Pi 模型，利用跨路径学习减少不同路径之间特征的一致性移位并采用新颖的平均教师包含负样本克服参数移位和模型冲突，在不监督的情况下搜索可转移架构，并在 ImageNet 和一系列下游任务上展示了其相对于受
PDF3 years ago
ICLR可微分 NAS 中的架构选择再思考
本文介绍了一种替代基于权重参数选择最大操作的 NAS 体系结构选择方法，并通过实验证明这种方法可以提取出更好的架构，并且可以纠正 DARTS 中部分失败模式。
PDF3 years ago
CVPRBCNet: 双向耦合网络搜索网络宽度
本文提出了双向耦合网络 (BCNet) 的概念，使用随机补充和先验采样技术来训练 BCNet，能够更准确地评估每个网络宽度。在 CIFAR-10 和 ImageNet 数据集上的实验表明，该方法在性能上超越了其他基线方法，并通过对 NAS
PDF3 years ago
CVPR通过生成搜索：具有架构生成器的灵活高效的一次性 NAS
提出一种名为 SGNAS 的一次搜索神经结构的框架，使用生成器生成子网络以更加高效和灵活地进行搜索，同时还提出了一种名为统一超网络的新单路径超网络以进一步提高搜索效率和减少 GPU 内存消耗，在 ImageNet 数据集上仅用 5 个 GP
PDF3 years ago
CVPR使用随机标签的神经架构搜索
本文提出了一种名为 ' 随机标签神经架构搜索 ' 的新型神经架构搜索范例，该算法基于 ' 易于收敛假设 '，只需要使用随机标签便可搜索到性能优异的候选网络，实验证明，该算法在多个数据集和搜索空间中均取得了比当前最先进的 NAS 方法（如 P
PDF3 years ago
ICLRSupernet 如何帮助神经架构搜索？
该研究分析了五个搜索空间，研究发现权重共享在某些搜索空间中效果良好但在其他搜索空间中效果不佳，进一步揭示了这种现象的偏见因素和权重共享的能力。
PDF4 years ago
ECCVNSGANetV2: 进化多目标代理辅助神经架构搜索
本文提出了一种高效的 NAS 算法，用于生成具有多个竞争目标的任务特定模型，在标准基准数据集上表现优异，且搜索效率大幅提高，并在六个不同的非标准数据集上证明了该方法的有效性和多样性。
PDF4 years ago
MixPath: 一种统一的一次性神经架构搜索方法
本研究针对神经结构搜索方法目前只局限于单路径搜索空间这一问题，提出了一种名为 MixPath 的新型多路径一次探索方法，并引入影子批量归一化机制来规范不同路径特征统计的差异，实现了更稳定的训练和性能提升，达到了在 ImageNet 上最先进
PDF4 years ago
基于元学习内核的高效可微分神经架构搜索
该研究提出了一种基于元卷积核的高效神经架构搜索策略，通过直接编码超级网络来缩小多个卷积核选项，从而在减少中间特征存储内存和资源预算的同时，实现更精细的搜索。该方法在 ImageNet 基准数据集上以 357M FLOPs 为限制可达到 77
PDF5 years ago