Jun, 2019

发现神经连线

PDF
TL;DR本文提出一种新的神经网络结构发现方法，即通过松弛层的概念，通过管道形式构建独立互连通道的方式提出了一种新的网络架构组合方式，可以学习具有比手动设计和随机网络更高的准确性的神经网络结构，并可用于移动定时网络和稀疏子网络发现。
neural networkneural architecture searchwiringmobilenetv1sparse subnetworks
发现论文，激发创造
  • 探索随机连接的神经网络在图像识别中的应用

    本文研究通过使用随机网络来探索更多元化的连接模式，结果表明新的网络生成器设计可能会在探索更宽泛的搜索空间的同时提高网络的准确性。

    Apr, 2019

  • 脉冲神经网络的神经结构搜索

    本文利用神经结构搜索技术，提出了一种新型的神经元架构设计方法，以在时序处理、二进制信息传输等方面提高脉冲神经网络（SNN）的性能，实验结果表明，所创建的 SNASNet 结构在多项图像识别测试中表现出优秀的性能，且具有高效能的特性。

    Jan, 2022

  • 学习权重和连接以实现高效神经网络

    通过三步法修剪不必要的神经元连接，我们成功将 AlexNet 的参数从 6100 万精简到了 670 万，无性能损失。

    Jun, 2015

  • 从拓扑学角度学习神经网络的连接性

    本文提出了一种基于拓扑结构优化神经网络连接性的方法，通过为边分配可学习参数并施加稀疏约束，更聚焦有关键作用的连接，并获得在图像分类和目标检测等任务中的显著改善。

    Aug, 2020

  • 利用大规模神经影像数据集创建连接组约束方法，以实现更加稳健、高效和适应性人工智能

    利用大型神经成像数据集中的连接性图谱等手段，改善边缘端机器学习的效率和鲁棒性，并通过对果蝇和哺乳动物视脑回路连接等领域的分析，展示了多种潜在的应用脑科学领域洞见的方法。

    May, 2023

  • 稀疏超网络下的神经架构搜索

    本论文旨在将神经架构搜索的问题从单路径和多路径搜索扩大到自动混合路径搜索。我们提出了一种新的连续架构表示方法，利用稀疏超网络和稀疏性约束来实现自动混合路径搜索。同时，我们采用了分层加速的近端梯度算法来优化所提出的稀疏超网络，并在卷积神经网络和循环神经网络搜索中进行了广泛的实验，证明了该方法能够搜索到紧凑、通用和强大的神经结构。

    Jul, 2020

  • 可扩展图像识别的可传递架构学习

    本文提出了一种在小数据集上搜索神经网络模型结构并将其转移至大数据集的方法，称为 NASNet，通过设计新的搜索空间并使用调度 DropPath 技术提高了模型在 ImageNet 等数据集上的分类正确率。

    Jul, 2017

  • 带有知识蒸馏的分块监督神经网络架构搜索

    本文旨在通过将神经体系结构搜索的大搜索空间模块化为块，以确保潜在的候选架构完全训练，从而降低共享参数引起的表示移位并导致对候选项的正确评级，并且从教师模型中提取体系结构知识来指导我们的块搜索，这显着提高了 NAS 的有效性和效率。

    Nov, 2019

  • 更灵活的神经结构搜索：密集连接的搜索空间

    本文提出了一种名为 DenseNAS 的神经架构搜索方法，通过设计一种密集连接的搜索空间，在该空间中搜索最佳路径来获得最终的体系结构，并使用一种链式成本估算算法来近似模型成本，优化准确性和模型成本。实验结果表明，DenseNAS 在 ImageNet 上具有很高的分类准确率，并成功优化了 ResNet 等多个模型的分类性能。

    Jun, 2019

  • 视觉电路的自动发现

    基于视觉概念的神经元激活依赖和功能连接，我们提出了一种新的方法来提取深度视觉模型计算图的子图，从而防御大规模预训练模型的对抗攻击。

    Apr, 2024