- ICCV量化感知训练:高性能极低比特架构搜索
本文提出一种结合网络架构搜索和量化的方法 (OQAT),通过联合训练网络架构和量化并引入位继承方案来获得更高的量化准确率并在不同位宽下实现了新的最优结果。
- 从零开始学习卷积
本文通过研究最小描述长度作为指导原则以了解引出卷积的归纳偏差,提出了 $eta$-LASSO,一种简单的 LASSO 算法变体,用于学习具有本地连接的架构,并在图像分类任务上实现了最先进的准确性,为训练全连接网络提供了桥梁,使其在 CIF - ECCVCurveLane-NAS: 融合车道感知架构搜索和自适应点融合
该论文提出了一种名为 CurveLane-NAS 的新型车道敏感架构搜索框架,能够捕捉曲线车道并自动搜索架构和后处理,另外还介绍了一个更具挑战性的 benchmark 数据集 CurveLanes,并在其中取得了 80% F1-Score。
- DARTS-ASR: 可微分的架构搜索用于多语言语音识别和适应
本文介绍了一种使用 DARTS-ASR 进行自动语音识别模型搜索的方法,并在多种语言和多种 ASR 设置中,相对于基线固定拓扑架构,在字符错误率方面取得了 10.2%和 10.0%的提升。
- MM深度多模态神经架构搜索
本文提出了一种深度多模态神经网络架构搜索(MMnas)框架, 通过使用基于梯度的 NAS 算法,可以高效地学习不同任务的最佳架构,并设计了一个统一的编码器 - 解码器骨干网络,其中每个编码器或解码器块对应于从预定义的操作池中搜索出来的操作, - ECCVBigNAS:利用大型单级模型扩展神经架构搜索
本文提出一种新方法 BigNAS,使用单个共享权重集合无需进行额外的训练或后处理步骤,就可以用于神经结构搜索,该方法的预测准确率优于现有方法。
- 单图像超分辨率的分层神经架构搜索
提出了一种基于 Hierarchical Neural Architecture Search (HNAS) 的方法来自动设计计算成本不同的高级 SR 架构,同时考虑性能与计算成本来指导搜索过程,实验表明该方法在性能上优于现有方法。
- MnasFPN: 在移动设备上学习时延感知金字塔架构用于对象检测
本研究提出 MnasFPN 架构搜索空间以及结合基于延迟感知的搜索方法的对象检测模型设计,与 MobileNetV2 体系结构相匹配,优于 MobileNetV3+SSDLite 1.8 mAP,在与 NAS-FPNLite 相比,精度更高 - ECCVGroSS:用于群组化架构搜索的群组大小串级分解
本文提出了一种能够探索神经网络内部分组卷积结构的新方法,GroSS 是第一个能够训练单层内不同组数以及所有层之间所有可能组合的方法,这使得 GroSS 能够同时训练整个分组卷积架构搜索空间。通过在多个数据集和网络上进行架构搜索,GroSS - 自适应调整 Transformer 网络:提高低资源机器翻译的速度、效率和性能
本文介绍的机器翻译模型基于 Transformer,通过自动调整网络架构和超参数来提高 BLEU 分数,其中引入了自动调整网络大小的正则化方法,能够在删除网络中的神经元的同时减少模型的参数数量。
- CVPR面向实时语义分割的图像引导架构搜索
提出了一种名为 Graph-guided Architecture Search(GAS)的管道,其中图卷积网络(GCN)作为细胞之间的通信机制,消除了细胞之间的共享约束以实现细胞水平的多样性,并通过搜寻 latency-oriented - ACL持续和多任务架构搜索
本研究提出了一种新颖的连续体系结构搜索方法和一种基于多任务学习的组合单元结构搜索方法,通过块稀疏性和正交性约束实现连续的进化学习,同时通过联合控制器奖励实现学习到的单元结构在多个任务上的优秀表现,成功应用于句子对分类和视频字幕生成等多领域任 - ICLRBlockSwap:基于 Fisher 指导的块替换网络压缩技术
本文提出 BlockSwap 算法通过使用一种收集神经元网络嵌套块的方法,以选择网络块类型的交织组合,进而达到快速探索可能的块配置和分类的目的。
- V-NAS:体积医学图像分割的神经结构搜索
本文提出了一种名为 V-NAS 的网络结构搜索方法,它可以自动判断不同情况下选择 2D、3D 或 Pseudo-3D 卷积层,该方法在医学图像分割任务中很好地表现,在 3 个公共数据集上进行评估,分别为 NIH 胰腺数据集、来自医学分割十项 - 可微架构压缩(DARC)
本文提出一种新的范例叫做 Differentiable ARchitecture Compression (DARC),这种方法结合了模型压缩和架构搜索的优势从而能够学习出在推理时更加高效的模型,DARC 能够应用于任何神经架构,并在现代卷 - GraphNAS: 强化学习下的图神经网络架构搜索
本研究提出一种名为 GraphNAS 的图神经网络结构搜索方法,可用于自动搜索最佳图神经网络架构,通过强化学习训练循环网络,实现生成变长字符串,针对验证数据集的期望准确性最大化,实验结果表明在传导和归纳性学习设置中的节点分类任务中,Grap - IRLAS:用于架构搜索的反向强化学习
本论文提出一种基于逆强化学习的架构搜索方法(IRLAS)来搜索拓扑特性类似于人工设计网络的网络结构,并使用生物认知理论的长期记忆和意向记忆模型在 CIFAR-10 和 ImageNet 移动设置数据集上显著优于许多自动生成的架构。
- 瓶颈关注模块
本篇论文提出了一种名为 Bottleneck Attention Module(BAM)的简单有效的注意力机制,可嵌入任何前馈卷积神经网络中,并在 CIFAR-100、ImageNet-1K、VOC 2007 和 MS COCO 等基准测试 - ICLR可微架构搜索:DARTS
本文介绍了一种基于可微分的连续松弛方法来应对体系结构搜索的可扩展性挑战,该方法可在 CIFAR-10、ImageNet、Penn Treebank 和 WikiText-2 等数据集中快速搜索高性能的卷积体系结构和循环体系结构。
- NIPSAuto-Meta: 自动化基于梯度的元学习搜索
研究表明,自动化架构搜索与基于梯度的元学习相结合,能够优化元学习器,使用此技术,预测准确率提高了 11.54%,在五次样本五种类的迷你图像分类问题中,最终的元学习器达到了 74.65%的准确率,是目前最先进的结果之一,也是在元学习背景下第一