Jun, 2019

StyleNAS: 一个神经架构搜索的经验性研究，发现惊人快速的端到端通用风格转换网络

PDF
TL;DR本研究通过神经架构搜索 (NAS) 方法，针对 auto-encoder 图像风格迁移的结构，设计了包含 VGG-based 编码器、白化以及色彩变换 (WCT)、卷积核、标准化算子和跳跃连接的组合式搜索空间。利用并行进化多目标神经架构搜索算法找到了一组全新的具有 end-to-end 特性和更快速度的神经网络结构，取得了较好的效果。与现有的研究相比，在保留细节的同时节省了大量模型参数，快速地进行图像风格转换。
neural architecture searchgenerative modelsauto-encoderstyle transferparallel evolutionary nas algorithm
发现论文，激发创造
  • 神经架构迁移

    本文介绍了一种基于神经架构搜索（NAS）的新方法，称为神经架构传递（NAT），该方法可将已训练的超网络集成到在线迁移学习和多目标进化搜索流程中，以快速生成适用于多个应用场景的任务特定定制模型，并在 11 项基准图像分类任务中证明了其有效性。

    May, 2020

  • 神经架构搜索实现的超快照片真实风格转移

    本文提出了一种基于 PhotoNet 和神经架构搜索的相机级画风快速迁移算法，在保持细节保留和逼真性的同时，相比当前最先进的方法可以实现 20-30 倍的加速，而无需进行预处理或后处理。

    Dec, 2019

  • NAS 评估非常困难

    在本文中，我们提出了用于比较 NAS 方法的基准测试，并对常用的 DARTS search space 进行了进一步的实验。我们发现，手工设计的宏观结构比搜索到的微观结构更重要，并且深度间隔是一个真实的现象，最后我们提出了最佳实践以帮助缓解当前的 NAS 缺陷。

    Dec, 2019

  • 一种半监督的神经架构评估器

    本文提出了一种半监督评估神经架构的方法，使用自编码器发现神经架构的有意义的表示，并利用图卷积神经网络来预测它们的性能，以实现神经架构搜索的高效优化。我们在 NAS-Benchmark-101 数据集上进行了大量实验，证明了我们方法在减少寻找高效神经架构所需的完全训练的架构上是有效的。

    May, 2020

  • 基于单元神经网络结构搜索的架构学习理解

    研究使用神经结构搜索（NAS）算法通过对 loss landscape 以及 gradient information 的分析，发现其倾向于选择使用 wide and shallow cell structures 的架构，虽然这些架构具有快速收敛的优势，但不一定能获得比其他架构更好的泛化性能。因此，有必要修正现有的 NAS 算法。

    Sep, 2019

  • DCNAS：用于语义图像分割的密集连接神经架构搜索

    本研究提出一种名为 Densely Connected NAS (DCNAS) 的神经架构搜索框架，通过连接细胞并使用可学习的权重来引入密集连接的搜索空间，并通过路径和通道级别的抽样策略设计一个融合模块来降低搜索空间的内存消耗。DCNAS 搜索算法得到的体系结构在公共语义图像分割基准测试中的表现显著优于先前算法。

    Mar, 2020

  • 理解神经结构搜索技术

    研究自动化方法来生成最新的神经网络架构而无需人类专家，并探究解释可解性和记忆缓冲作为有效方法的影响。

    Mar, 2019

  • GeNAS: 具有更好泛化性能的神经架构搜索

    本文探讨了一种新的神经架构搜索度量方式，发现损失曲面的平整度可以预测神经网络架构的泛化能力，通过在不同的搜索空间进行评估，提出的方法相对于现有的 NAS 方法表现更好，并且在数据分布偏移以及目标检测或语义分割等任务中具有稳健的泛化能力。

    May, 2023

  • 带有知识蒸馏的分块监督神经网络架构搜索

    本文旨在通过将神经体系结构搜索的大搜索空间模块化为块，以确保潜在的候选架构完全训练，从而降低共享参数引起的表示移位并导致对候选项的正确评级，并且从教师模型中提取体系结构知识来指导我们的块搜索，这显着提高了 NAS 的有效性和效率。

    Nov, 2019

  • 自监督神经架构搜索

    本研究提出了一种自监督神经架构搜索 (SSNAS) 方法，使用未标记的数据进行训练，无需使用标签数据即可发现新的网络模型，并在搜索标签数量相对较少时展示了该方法的优势。

    Jul, 2020