- 设备边缘协同推理系统上的图神经网络自动设计和部署
GCoDE 是第一个自动化的图神经网络(GNN)框架,它在设备边缘层次结构上创新地共同设计了架构搜索和每个操作的映射,通过性能意识的方法实现了在多样化的异构系统中的架构效率的有效评估,实验结果表明,与现有方法相比,在各种应用和系统配置中,G - CVPR增强神经架构搜索的顺序保持和可传递性:一种联合架构优化搜索和微调方法
Supernet 是许多最新的神经架构搜索(NAS)方法中的核心组件,本文提出了一种改进的搜索策略 ——Supernet Shifting,以改善局部排序能力和实现模型的迁移学习。
- 基于混合卷积 - 变换器架构搜索的实时图像分割
通过使用多头自注意力结构,结合架构搜索方法,本研究提出了一种高效且有效的高分辨率图像分割神经网络架构,名为 HyCTAS,通过在多个分辨率的分支之间融合轻量级卷积层和内存高效的自注意力层,提高了语义分割任务的性能。
- 个性化联邦指令调整通过神经结构搜索
基于架构搜索的个性化联邦指导微调框架允许每个客户端在扩展的参数空间中搜索个性化架构,通过剪枝参数恢复到原始状态,以同时保留可训练参数的数量,在非完全独立的场景中,相比于最先进的 FIT 方法,我们的方法可以实现达到 23% 的困惑度降低。
- WSDM动态稀疏学习:一种高效推荐的新范式
在深度学习推荐系统领域,我们引入了一种新的学习范式,Dynamic Sparse Learning (DSL),通过动态调整模型的稀疏性分布和权重的重要性,从而在训练和推理过程中实现端到端的高效率,显著减少了训练和推理成本,同时提供可比较的 - AAAIAuto-Prox: 通过自动代理发现的无需训练的视觉 Transformer 架构搜索
通过自动代理发现框架 Auto-Prox,我们介绍了一种训练免费的方法来进行 Vision Transformer(ViT)的体系结构搜索。广泛的实验表明,我们的方法在不同数据集上都具有很好的泛化能力,并在排名相关性和最终准确性方面取得了最 - 迷你心智:探索 Bebeshka 和 Zlata 婴儿模型
在这篇论文中,我们描述了 Lyon 2 大学参加 BabyLM 竞赛 Strict-Small 赛道的情况。我们采用架构搜索的方法,在数据集上最小化掩码语言建模损失,并引入了两种小型语言模型进行评估。尽管比基准模型规模小一半,我们的模型性能 - KDD协同过滤的高效联合超参数和架构搜索
利用自动机器学习技术自适应设计协同过滤模型的研究,提出了一种综合考虑超参数与架构搜索的算法,通过筛选有用的超参数选择来减少搜索空间,以及通过两阶段搜索算法来高效地找到适当的配置,实验证明了该算法在真实数据集上的优越性。
- CVPR面向任务难度感知的生命周期学习参数分配和正则化
本文提出了参数分配与正则化 (PAR) 方法,以适应任务的学习难度,从参数分配和正则化中自适应地选择适当的策略,并使用基于最近原型距离的发散估计方法来测量任务相关性,通过时间高效的相关性感知采样搜索策略来减少分配的参数开销,实验结果表明,与 - AAAIHALOC: 针对紧凑型神经网络的硬件感知自动低秩压缩
本文提出了 HALOC 低秩压缩框架,通过考虑硬件架构,以可微分的、硬件感知的方式选择合适的层次秩,并提出了设计原则和缓解策略以有效探索秩空间并降低潜在干扰问题。在不同数据集和硬件平台上的实验结果证明了我们方法的有效性,并在实践中展示了硬件 - EvoAAA: 一种用于自动神经自编码器架构搜索的进化方法
该论文提出了一种基于进化方法的自动化自编码器架构搜索过程,通过测试证明了该方法在九个异构数据集上的可行性和较好的结果。
- 关于架构和超参数对于面部识别公平性的重要性
通过对神经网络架构和超参数的搜索来减少面部识别系统中的性别和种族等社会民主维度偏差,最终得到了一系列同时具有准确性和公正性的 Pareto 最优模型,并提供代码和数据让研究人员和实践者使用。
- ICML重新审视面向架构的知识蒸馏:更小的模型和更快的搜索
介绍一种名为 TRADE 的新算法,利用 Trust Region Aware architecture search 快速寻找有效的学生网络结构,并使用 Bayesian optimization 方法优化。实验结果表明,TRADE 算法 - 基于方向进化策略的易部署网络高效参数搜索
本文设计了一种改进的重新参数化搜索空间以及基于神经网络架构搜索的自动重新参数化增强策略,通过搜索优秀的重新参数化架构进一步提高了卷积网络的分类精度。
- AutoFormer: 为视觉识别搜索 Transformer
本文提出了一种名为 AutoFormer 的新一代架构搜索框架,该框架是针对视觉分类和检测任务中 transformer 网络设计的,通过优化 supernet 让数千个子网络获得很好的训练,最终得到的 AutoFormers 模型在 Im - AAAI动态增长的生成对抗网络
本文提出一种动态增长的 GAN 训练方法,将架构搜索技术作为一个交错步骤与梯度训练相结合,以周期性地寻求生成器和鉴别器的最佳架构增长策略,从而实现了逐步增长训练的好处和更广泛的架构设计空间的改进性能,实现了新的图像生成技术的最新进展,提供了 - CVPR深度敏感关注和自动多模态融合的 RGB-D 显著性检测
本文提出了一种深度敏感的 RGB 特征建模方案,并使用深度几何先验来实现特征增强和背景分心减少。另外,我们还提出了一种自动架构搜索方法来进行 RGB-D 显着对象检测,取得了比现有技术更好的结果。
- 山口爬升领域神经架构搜索的新框架
本研究提出了一个新的神经架构搜索框架,它基于一个使用形态操作的爬山过程并采用新的梯度更新方法。该技术可以在更广泛的搜索空间中搜索,从而产生竞争优势,其在单个 GPU 训练的 19.4 小时内在 CIFAR-10 数据集上实现了 4.96%的 - ICLRES-ENAS:大型混合搜索空间的高效演化优化
本文介绍了用于优化黑盒函数的 Evolutionary Strategies 结合组合优化器的 ES-ENAS 算法,显著提高了采样效率并成功应用于强化学习架构搜索。
- 基于 Retinex 启发的展开与合作先验结构搜索方法用于低光图像增强
本文提出了一种新的方法,名为 Retinex-inspired Unrolling with Architecture Search(RUAS),用于构建用于真实世界场景下低光图像的轻量级但有效的增强网络,该方法基于 Retinex 规则,