Dec, 2023

通过 Learngene Pool 构建可变尺寸模型

PDF
TL;DR通过 Learngene Pool 方法，将 Stitchable Neural Networks (SN-Net) 中存在的挑战解决，从而在低资源约束条件下构建小型和可变尺寸的模型，进一步提升性能。
stitchable neural networkssn-netlearngenesmall modelsvariable-sized models
发现论文，激发创造
  • 可缝合的神经网络

    提出了一种 Scalable 并有效的框架来对预训练神经网络进行动态准确率 - 效率权衡的组装，该方案称为 Stitchable Neural Networks（SN-Net）；该方案在 ImageNet 分类任务中取得了与已训练网络相当甚至更好的表现，并支持多种部署场景。

    Feb, 2023

  • StitchNet：从预训练的碎片组成神经网络

    StitchNet 是一种新的神经网络创造范例，它能够将来自多个预训练神经网络的碎片（一个或多个连续的网络层）拼接在一起，使用 CKA 作为兼容性度量，以在特定的精度需求和计算资源限制下，有效地指导这些数据片段的选择，并实现可与传统训练网络相媲美的精度，同时使用计算资源和数据量的一小部分，从而探索了一种新的即兴个性化模型创建和推断应用。

    Jan, 2023

  • 可编织的 ViT 视觉主干网络

    SN-Netv2 是一种基于模型拼接的框架，能够有效地适应下游任务，并在训练效率和适应性方面均获得了很大的优势。

    Jun, 2023

  • 高效可拼接的任务适应

    通过有效的可缝合任务适应 (ESTA) 框架，我们能够以低延迟、高效率的方式生成一系列满足多样化资源限制的经过优化的模型。

    Nov, 2023

  • 基于生长 - 修剪范式的神经网络合成工具 NeST

    论文介绍了一种名为 NeST 的 DNN 综合工具，它采用增长和修剪的方式来自动学习权重和紧凑的 DNN 网络架构，以生成准确且很小的 DNN 网络。

    Nov, 2017

  • 脉冲神经网络中的深度剩余学习

    本文提出了基于 SEW ResNet 的残差学习算法来实现深度 SNNs 的直接训练，并通过在 ImageNet、DVS Gesture 和 CIFAR10-DVS 数据集上的实验表明 SEW ResNet 相对于目前最先进的神经网络直接训练方法在准确性和时间步长方面均有更好的表现。

    Feb, 2021

  • 重新审视模型拼接以比较神经表示

    本文重新审视和扩展了模型拼接的方法，通过将训练好的两个模型 A 和 B 底层连接到顶层，并在它们之间加入一个简单的可训练层来形成一个 “拼接模型”，揭示了多方面的表示属性。通过大量实验证明，“好” 的网络学习相似的表示，更多的数据，更大的宽度或更多的训练时间可以 “插入” 到较弱的模型中以提高性能。此外，我们还展示了 SGD 的一个新的结构特性，称为 “缝合连接”，类似于模式连接，SGD 达到的典型最小值可以通过最小的精度变化缝合在一起。

    Jun, 2021

  • STU-Net：借助大规模监督预训练提升可伸缩和可迁移的医学图像分割模型

    本文提出了可扩展和可转移的 U-Net (STU-Net) 模型，参数从 1400 万到 14 亿，并在大规模的医学分割数据集上表现良好，并评估其在 14 个下游数据集上的可转移性。

    Apr, 2023

  • LaSNN: 深度脉冲神经网络中的有效高效培训之层级 ANN 到 SNN 蒸馏

    通过引入 attention 机制和采用分层知识蒸馏的方法，提出了新的 SNN 训练框架 LaSNN，实现了与 ANN 比较的竞争性准确率和比转换的 SNN 快 20 倍的推理速度，并且具有灵活性和可扩展性。

    Apr, 2023

  • 跨针织网络的多任务学习

    本文针对多任务卷积网络中已存在的枚举多种网络架构的不足，提出了一种新的可端到端训练的共享单元：“十字绣” 单元，通过这种单元可以学习到共享和任务特定的最佳组合方式，在多任务中通用且表现远远优于基线方法。

    Apr, 2016