Jun, 2021

重新审视模型拼接以比较神经表示

PDF
TL;DR本文重新审视和扩展了模型拼接的方法，通过将训练好的两个模型 A 和 B 底层连接到顶层，并在它们之间加入一个简单的可训练层来形成一个 “拼接模型”，揭示了多方面的表示属性。通过大量实验证明，“好” 的网络学习相似的表示，更多的数据，更大的宽度或更多的训练时间可以 “插入” 到较弱的模型中以提高性能。此外，我们还展示了 SGD 的一个新的结构特性，称为 “缝合连接”，类似于模式连接，SGD 达到的典型最小值可以通过最小的精度变化缝合在一起。
model stitchingneural networksrepresentationssupervised learningsgd
发现论文，激发创造
  • 神经网络表示的相似性和匹配

    本文通过利用 Dr. Frankenstein 工具集来分析深度神经网络的相似性，尝试匹配由两个已经训练好的模型中给定层的激活，通过使用一个拼接层将它们合并起来。我们证明了即使只有一个单一的仿射拼接层，具有相同结构但不同初始化的卷积神经网络中出现的内部表示仍然可以以令人惊讶的高精度进行匹配，同时我们也从任务的角度提供了关于神经网络相似性指数的新视角。

    Oct, 2021

  • StitchNet：从预训练的碎片组成神经网络

    StitchNet 是一种新的神经网络创造范例，它能够将来自多个预训练神经网络的碎片（一个或多个连续的网络层）拼接在一起，使用 CKA 作为兼容性度量，以在特定的精度需求和计算资源限制下，有效地指导这些数据片段的选择，并实现可与传统训练网络相媲美的精度，同时使用计算资源和数据量的一小部分，从而探索了一种新的即兴个性化模型创建和推断应用。

    Jan, 2023

  • 跨针织网络的多任务学习

    本文针对多任务卷积网络中已存在的枚举多种网络架构的不足，提出了一种新的可端到端训练的共享单元：“十字绣” 单元，通过这种单元可以学习到共享和任务特定的最佳组合方式，在多任务中通用且表现远远优于基线方法。

    Apr, 2016

  • 可缝合的神经网络

    提出了一种 Scalable 并有效的框架来对预训练神经网络进行动态准确率 - 效率权衡的组装，该方案称为 Stitchable Neural Networks（SN-Net）；该方案在 ImageNet 分类任务中取得了与已训练网络相当甚至更好的表现，并支持多种部署场景。

    Feb, 2023

  • 可编织的 ViT 视觉主干网络

    SN-Netv2 是一种基于模型拼接的框架，能够有效地适应下游任务，并在训练效率和适应性方面均获得了很大的优势。

    Jun, 2023

  • 高效可拼接的任务适应

    通过有效的可缝合任务适应 (ESTA) 框架，我们能够以低延迟、高效率的方式生成一系列满足多样化资源限制的经过优化的模型。

    Nov, 2023

  • 无监督深度图像拼接：重建拼接特征到图像

    本论文提出了一种基于无监督深度学习的图像拼接框架，包括无监督的粗略图像对齐和无监督的图像重建两个阶段，使用了降分辨率变形支路和提高分辨率的精化支路，其精度优于现有的其他技术。

    Jun, 2021

  • 模型拼接和可视化：如何实时倒置 GAN 生成器中的网络

    本研究提出了一种快速准确的方法，利用卷积将分类和语义分割网络的激活与 GAN 生成器拼接起来，以快速提供附加信息来解释深度学习方法所做出的决策。我们在动物图像和数字病理学扫描的真实组织样本上测试了我们的方法，在这些数据集上，我们的方法与已建立的梯度下降方法提供了可比较的结果，同时运行速度快了两个数量级。

    Feb, 2023

  • 面向真实世界全景图像生成的弱监督拼接网络

    提出了一种基于深度学习的缝合模型，采用弱监督学习机制训练，实现对多个鱼眼图像的 360 度输出，通过色彩一致性校正、畸变校正和图像融合实现，其训练采用感知损失和 SSIM 损失函数，在两个真实的缝合数据集上进行了有效性验证。

    Sep, 2022

  • 通过 Learngene Pool 构建可变尺寸模型

    通过 Learngene Pool 方法，将 Stitchable Neural Networks (SN-Net) 中存在的挑战解决，从而在低资源约束条件下构建小型和可变尺寸的模型，进一步提升性能。

    Dec, 2023