Feb, 2023

可缝合的神经网络

PDF
TL;DR提出了一种 Scalable 并有效的框架来对预训练神经网络进行动态准确率 - 效率权衡的组装，该方案称为 Stitchable Neural Networks（SN-Net）；该方案在 ImageNet 分类任务中取得了与已训练网络相当甚至更好的表现，并支持多种部署场景。
pretrained modelsstitchable neural networksdynamic accuracy-efficiency trade-offsimagenet classificationelastic model framework
发现论文，激发创造
  • 通过 Learngene Pool 构建可变尺寸模型

    通过 Learngene Pool 方法，将 Stitchable Neural Networks (SN-Net) 中存在的挑战解决，从而在低资源约束条件下构建小型和可变尺寸的模型，进一步提升性能。

    Dec, 2023

  • 可编织的 ViT 视觉主干网络

    SN-Netv2 是一种基于模型拼接的框架，能够有效地适应下游任务，并在训练效率和适应性方面均获得了很大的优势。

    Jun, 2023

  • StitchNet：从预训练的碎片组成神经网络

    StitchNet 是一种新的神经网络创造范例，它能够将来自多个预训练神经网络的碎片（一个或多个连续的网络层）拼接在一起，使用 CKA 作为兼容性度量，以在特定的精度需求和计算资源限制下，有效地指导这些数据片段的选择，并实现可与传统训练网络相媲美的精度，同时使用计算资源和数据量的一小部分，从而探索了一种新的即兴个性化模型创建和推断应用。

    Jan, 2023

  • 高效可拼接的任务适应

    通过有效的可缝合任务适应 (ESTA) 框架，我们能够以低延迟、高效率的方式生成一系列满足多样化资源限制的经过优化的模型。

    Nov, 2023

  • 重新审视模型拼接以比较神经表示

    本文重新审视和扩展了模型拼接的方法，通过将训练好的两个模型 A 和 B 底层连接到顶层，并在它们之间加入一个简单的可训练层来形成一个 “拼接模型”，揭示了多方面的表示属性。通过大量实验证明，“好” 的网络学习相似的表示，更多的数据，更大的宽度或更多的训练时间可以 “插入” 到较弱的模型中以提高性能。此外，我们还展示了 SGD 的一个新的结构特性，称为 “缝合连接”，类似于模式连接，SGD 达到的典型最小值可以通过最小的精度变化缝合在一起。

    Jun, 2021

  • STN: 通过结构感知训练和自适应压缩实现可扩展的张量网络

    本文提出了适用于任意网络架构的可扩展张量网络（STN），通过一种数据驱动的方法动态和自适应地调整模型大小和分解结构，从而达到更高的压缩性能和灵活性，综合实验结果表明其在参数效率方面表现优异。

    May, 2022

  • 跨针织网络的多任务学习

    本文针对多任务卷积网络中已存在的枚举多种网络架构的不足，提出了一种新的可端到端训练的共享单元：“十字绣” 单元，通过这种单元可以学习到共享和任务特定的最佳组合方式，在多任务中通用且表现远远优于基线方法。

    Apr, 2016

  • 脉冲神经网络中的深度剩余学习

    本文提出了基于 SEW ResNet 的残差学习算法来实现深度 SNNs 的直接训练，并通过在 ImageNet、DVS Gesture 和 CIFAR10-DVS 数据集上的实验表明 SEW ResNet 相对于目前最先进的神经网络直接训练方法在准确性和时间步长方面均有更好的表现。

    Feb, 2021

  • MotherNets: 快速深度集成学习

    该研究提出 MotherNets 来解决深度神经网络集成中的训练成本和模型多样性问题，并在减少训练成本和提高模型精度方面取得了新的 Pareto 前沿。

    Sep, 2018

  • 快照集成: 1 次训练，多个模型

    本文提出了一种名为 ' 快照集成 ' 的新技术，可以实现在不增加训练成本的情况下，通过在一个单一的神经网络中收敛到几个局部极小值并保存模型参数的方法，同时通过循环学习率表达式，获得重复快速收敛的能力，实验结果表明，这种方法可有效地降低误差率并与传统的网络集成方法相比较优秀。

    Apr, 2017