supernet training | BriefGPT

关键词supernet training

搜索结果 - 13

ACL高效提取边缘应用的 LLM
MLFS 是一种能够通过多级低秩微调超级变压器实现参数高效的超网络训练方法，可产生适用于商业边缘应用的高质量编码器模型，并可通过对解码器进行切片来显著减少训练时间。
PDF3 months ago
权重纠缠与基于梯度的神经架构搜索
本文旨在通过提出一种新的方案，将基于梯度的方法适应于权重相互关联的空间，从而弥合这两个子社区之间的差距，并深入比较评估梯度优化方法在权重相互关联的搜索空间中的性能，结果发现这种权重相互关联和基于梯度的 NAS 的整合带来了增强性能、改善超网
PDF7 months ago
WWWAuto-HeG: 异构图上的自动化图神经网络
本文提出了一种自动在异构图上构建图神经网络模型的方法 Auto-HeG，其将异构性融入了异构图神经网络的所有阶段，包括搜索空间设计、超网训练和架构选择，并在离一不作模式下进行了异构架构选择。研究结果表明，Auto-HeG 在开发出优秀的异构
PDFa year ago
通过自修剪学习双模式语音识别模型
该研究旨在通过 Omni-sparsity supernet 方法联合训练一个紧凑稀疏的流式 ASR 模型和一个大型密集的非流式服务器模型，进而提高现有 ASR 模型的性能。
PDF2 years ago
ECCV从超网络中联合进行架构搜索和参数剪枝，绘制与任务无关的彩票票券
本文提出了一种 SuperTickets 的方法，通过一种两合一的训练方法进行神经架构搜索和参数修剪，从而直接识别出有效的神经网络。该方法不仅能够改善精度和效率权衡的问题，并且可用于多任务处理。
PDF2 years ago
CVPR基于先验指导的一次性神经架构搜索
本文介绍一种名为 Prior-Guided One-shot NAS 的神经架构搜索方法，它采用平衡采样策略、FLOPs 和 Zen-Score 等机制来加强超级网络的排名相关性，取得了 CVPR2022 第二轻量化 NAS 挑战赛超级网络
PDF2 years ago
ICML系统异构下的联邦图像分类的超网络训练
本文介绍了一个同时考虑全球模型改进和系统异构性及数据异构性的多设备上深神经网络的高效部署的联邦学习框架 FedSup，该框架结合了数据异构性和超网络训练中的不同步骤来减少通信成本和提高训练效率，通过在标准基准测试上验证，确保了数据和模型的异
PDF2 years ago
ICCVBN-NAS：带有批标准化的神经架构搜索
本研究提出了使用批量归一化的神经架构搜索 BN-NAS 算法，通过训练 BN 参数加速神经架构搜索，实验证明该算法可以显著缩短训练时间和运行时间。
PDF3 years ago
AutoFormer: 为视觉识别搜索 Transformer
本文提出了一种名为 AutoFormer 的新一代架构搜索框架，该框架是针对视觉分类和检测任务中 transformer 网络设计的，通过优化 supernet 让数千个子网络获得很好的训练，最终得到的 AutoFormers 模型在 Im
PDF3 years ago
ICMLAlphaNet: Alpha-Divergence 优化超级网络的改进训练
研究提出了一种使用更通用的 alpha-divergence 改进 supernet 训练的方法，以避免模型不确定性的高估或低估，同时应用于 neural architecture search（神经架构搜索），并在不同的 FLOPs 范围
PDF3 years ago
CVPRGreedyNAS: 基于贪心超网络的快速一次性神经架构搜索
本文提出一种名为 GreedyNAS 的神经架构搜索方法，通过多路径抽样策略和候选路径池相结合的方法，将超网的负担减少至仅关注可能具有良好性能的路径，从而在 ImageNet 数据集中实现更好的 Top-1 准确率，且仅需大约 60％的超网
PDF4 years ago
平衡一次性神经架构优化
通过平衡神经网络结构大小的训练，提出了 Balanced NAO 方法来解决 One-shot NAS 性能劣于传统 NAS 的问题，该方法的综合实验表明其有效性和鲁棒性，通过该方法在 CIFAR-10 和 ImageNet 数据集上发现的
PDF5 years ago
ICCVFairNAS: 重新思考共享权重神经架构搜索的评估公正性
探究神经网络结构搜索中候选模型评估的公平性问题，提出预期公平和严格公平两种约束方法，其通过公平的训练方式得到的一次性神经网络与多目标进化搜索算法相结合，可以获得最先进的模型。其中 FairNAS-A 模型在 ImageNet 数据集上获得了
PDF5 years ago