Jan, 2023

StitchNet：从预训练的碎片组成神经网络

PDF
TL;DRStitchNet 是一种新的神经网络创造范例，它能够将来自多个预训练神经网络的碎片（一个或多个连续的网络层）拼接在一起，使用 CKA 作为兼容性度量，以在特定的精度需求和计算资源限制下，有效地指导这些数据片段的选择，并实现可与传统训练网络相媲美的精度，同时使用计算资源和数据量的一小部分，从而探索了一种新的即兴个性化模型创建和推断应用。
发现论文，激发创造
  • 可缝合的神经网络

    提出了一种 Scalable 并有效的框架来对预训练神经网络进行动态准确率 - 效率权衡的组装，该方案称为 Stitchable Neural Networks（SN-Net）；该方案在 ImageNet 分类任务中取得了与已训练网络相当甚至更好的表现，并支持多种部署场景。

    Feb, 2023

  • 重新审视模型拼接以比较神经表示

    本文重新审视和扩展了模型拼接的方法，通过将训练好的两个模型 A 和 B 底层连接到顶层，并在它们之间加入一个简单的可训练层来形成一个 “拼接模型”，揭示了多方面的表示属性。通过大量实验证明，“好” 的网络学习相似的表示，更多的数据，更大的宽度或更多的训练时间可以 “插入” 到较弱的模型中以提高性能。此外，我们还展示了 SGD 的一个新的结构特性，称为 “缝合连接”，类似于模式连接，SGD 达到的典型最小值可以通过最小的精度变化缝合在一起。

    Jun, 2021

  • 高效可拼接的任务适应

    通过有效的可缝合任务适应 (ESTA) 框架，我们能够以低延迟、高效率的方式生成一系列满足多样化资源限制的经过优化的模型。

    Nov, 2023

  • 可编织的 ViT 视觉主干网络

    SN-Netv2 是一种基于模型拼接的框架，能够有效地适应下游任务，并在训练效率和适应性方面均获得了很大的优势。

    Jun, 2023

  • 通过 Learngene Pool 构建可变尺寸模型

    通过 Learngene Pool 方法，将 Stitchable Neural Networks (SN-Net) 中存在的挑战解决，从而在低资源约束条件下构建小型和可变尺寸的模型，进一步提升性能。

    Dec, 2023

  • 跨针织网络的多任务学习

    本文针对多任务卷积网络中已存在的枚举多种网络架构的不足，提出了一种新的可端到端训练的共享单元：“十字绣” 单元，通过这种单元可以学习到共享和任务特定的最佳组合方式，在多任务中通用且表现远远优于基线方法。

    Apr, 2016

  • 神经网络表示的相似性和匹配

    本文通过利用 Dr. Frankenstein 工具集来分析深度神经网络的相似性，尝试匹配由两个已经训练好的模型中给定层的激活，通过使用一个拼接层将它们合并起来。我们证明了即使只有一个单一的仿射拼接层，具有相同结构但不同初始化的卷积神经网络中出现的内部表示仍然可以以令人惊讶的高精度进行匹配，同时我们也从任务的角度提供了关于神经网络相似性指数的新视角。

    Oct, 2021

  • 卷积神经网络织物

    本文提出一种名为 “fabric” 的 CNN 架构，由 3D 网格状连接 Respons maps 而成，可嵌入指数级别数量的架构，并以集合方式共享权重，在 MNIST 和 CIFAR10 的图像分类以及 Part Labels 数据集的视觉语义分割任务中，表现竞争性的基准结果。

    Jun, 2016

  • 基于生长 - 修剪范式的神经网络合成工具 NeST

    论文介绍了一种名为 NeST 的 DNN 综合工具，它采用增长和修剪的方式来自动学习权重和紧凑的 DNN 网络架构，以生成准确且很小的 DNN 网络。

    Nov, 2017

  • 面向真实世界全景图像生成的弱监督拼接网络

    提出了一种基于深度学习的缝合模型，采用弱监督学习机制训练，实现对多个鱼眼图像的 360 度输出，通过色彩一致性校正、畸变校正和图像融合实现，其训练采用感知损失和 SSIM 损失函数，在两个真实的缝合数据集上进行了有效性验证。

    Sep, 2022