- 针对长尾数据集的神经架构搜索的异构学习率调度
本文旨在解决将神经架构搜索(NAS)算法,特别是可微架构搜索(DARTS),应用于类别分布高度不平衡的长尾数据集的挑战。我们观察到,传统的重新采样和重新加权技术,在与 DARTS 结合时会导致性能下降。为了缓解这一问题,我们提出了一种新颖的 - 可植入自适应细胞:可微架构搜索以提升任何经过训练的 U 型网络的性能
使用神经架构搜索方法(特别是可微分架构搜索)和可植入自适应单元(即 IAC)的概念,该论文介绍了一种增强医学图像分割中预先训练神经网络性能的新方法,通过将 IAC 无缝集成到现有模型的跳跃连接中,提高了分割精度,并为性能升级提供了一种经济高 - 基于层次空间的高效 NAS 与 FaDE
FaDE 使用可微分的架构搜索方法,在有限的分层搜索空间上获取相对性能预测,在完整的神经架构搜索空间上实现一个批量式外部搜索算法,实验结果表明 FaDE 在分层和多细胞搜索空间中展开线性探索,消除了代理搜索空间的需要。
- 通过双层数据修剪实现高效的架构搜索
提出一种基于 Bi-level Data Pruning (BDP) 范式的新型神经架构搜索优化方法,通过逐步修剪不适合的样本来降低搜索成本,并实现超过 50% 的性能提升。
- MGAS:用于高效和有效的神经网络的多粒度架构搜索
多粒度架构搜索(MGAS)是一个统一框架,旨在全面且高效地探索多粒度搜索空间以发现既有效又高效的神经网络,并在模型性能和模型大小之间取得更好的平衡。
- KDD微温度即可完成可微架构搜索
通过利用小的温度值来稀疏化训练阶段中的连续分布,来缩小训练中弱化超网络与评估中的修剪后网络之间的差距,以提高 Differentiable Architecture Search 的效率和功效。
- 用显式稀疏规则消除信息绕过泄漏来增强 DARTS 的鲁棒性
本研究提出了一种基于稀疏正则化近似和高效混合稀疏训练方案的改进方法,以消除训练过程中信息绕过泄漏,从而提高不确定性极大的 Differentiable architecture search (DARTS) 的鲁棒性。
- 通过自蒸馏改进可微分架构搜索
本篇论文提出了一种基于自蒸馏不同的神经网络结构搜索方法,通过投票教师的方式引导折叠网络的训练,并且与现有最先进的神经网络结构搜索方法相比,实验结果表明了它的优越性。
- 全自动端到端假音频检测
本文提出了一种完全自动化的端到端虚假音频检测方法,使用了 wav2vec 预训练模型和修改版的 differentiable architecture search 算法(light-DARTS),在 ASVspoof 2019 LA 数据 - 可微架构与遗忘搜寻的增量学习
本文提出了一种基于 DARTS 和最先进的增量学习策略的增量学习强基准方法,并将架构搜索的思想扩展到正则化架构遗忘,从而在 RF 信号和图像分类任务中实现性能的显著提升,取得了比现有方法高出 10%的结果。
- 加强微分可搜索架构的鲁棒性、效率和多样性
本文提出自适应通道分配的可微分架构搜索方法 (ACA-DARTS),通过从运算空间中删除跳跃连接的方法,自动重新填充评估阶段的跳跃连接,解决由缺乏跳跃连接引起的性能降级问题,并在整个 ImageNet 数据集上直接搜索,实验表明 ACA-D - MM自动可伸缩人脸检测器
通过不同的可微架构搜索方法,提出的 AutoFAE 模块在人脸检测方面表现出优异的性能,并在 WIDER Face 测试中实现了 AP 96.7/96.2/92.1 的结果。
- ICCVSingle-DARTS: 实现稳定体系结构搜索
本文提出 Single-DARTS,通过使用单级优化替换双级优化,显著减轻了性能坍塌,提高了体系结构搜索的稳定性,并在主流搜索空间上实现了最先进的性能。
- 基于单元级可微神经架构搜索的鲁棒视觉跟踪(CHASE)
该研究提出了一种基于可微分的单元结构自动寻找骨干特征的追踪网络的网络设计机制,旨在解决目标跟踪中由手动设计网络结构所产生的挑战与时间成本问题,实现了在不需要堆叠一系列模块的情况下,通过提出的策略避免了过拟合与性能崩溃问题的影响,实验结果表明 - ICMLiDARTS: 随机隐式梯度可微架构搜索
本文提出了一种基于内部权重和外部架构参数的梯度优化的不同 iable ARchiTecture Search (DARTS) 方法,该方法只依赖于内环优化所得到的解,并省略了优化路径。同时,我们提出了 iDARTS 方法来进一步减少计算要求 - ACL高效内存可微分 Transformer 架构搜索
本文提出了一种结合可微分架构搜索(DARTS)和多分裂可逆网络的算法,以提高在序列到序列数据集上的性能,并优于传统 Transformers。
- AAAIHierarchical Differentiable Architecture Search: 释放搜索空间的枷锁
该研究提出了层级可微架构搜索 (Hierarchical Differentiable Architecture Search, H-DAS) 方法,旨在在单元层面和阶段层面上进行架构搜索,通过放宽单元层面的搜索空间,设计阶段层面的搜索规则 - DOTS: 可微分架构搜索中的操作与拓扑解耦
本文提出了一种 Decouple the Operation and Topology Search(DOTS)的方法,该方法通过引入包含候选边的拓扑搜索空间实现了拓扑表示与操作权重的解耦,并且可以轻松扩展以支持搜索的单元中灵活数量的边。实 - ICLRDARTS-: 无需指标强化的稳定性能提升
本文针对不同 iable architecture search(DARTS)的长期性能不稳定问题,提出一种名为 DARTS - 的辅助 skip connection 的方法来解决它,从而提高其鲁棒性。
- 循环可微架构搜索
提出了一种新的循环不可微分神经网络结构搜索方法,命名为 CDARTS,通过引入反复振荡的联合优化目标和自省蒸馏循环反馈机制,在分类监督下,有效地实现了搜索和评估网络的联合优化,取得了 97.52%在 CIFAR10 上的 top-1 准确率