Oct, 2024

表示相似性：边缘计算中无训练的深度神经网络层共享的更好指导

HTML
PDF
TL;DR本研究解决了在边缘计算中受限于内存的深度神经网络（DNN）共享层的问题，现有方法需要昂贵的云端再训练并依赖真实标签。提出的通过表示相似性指导的模型合并方案，不仅可以在边缘设备上实现层共享，还有效指示了合并模型的准确性，且无需真实标签。研究结果表明，表示相似性与合并模型的准确性之间具有极高的相关性，展现出广阔的研究前景。
发现论文，激发创造
  • 深度神经网络的推理阶段统一和合并

    本文提出了一种新的卷积神经网络合并方法，在共享权重的基础上，将训练好的两个具有不同架构的网络在推断阶段融合为一个统一的模型，以适应资源有限的设备，实验结果表明此方法有效。

    May, 2018

  • 深度锚定卷积神经网络

    本文介绍了一种名为Deep Anchored Convolutional Neural Network (DACNN)的卷积神经网络架构，它使用单个卷积核并采用权重共享技术进行网络压缩，同时增加了一个名为regulators的易于插入的模块来提高性能，在CIFAR-10、CIFAR-100和SVHN数据集上验证了其准确性与显著的内存节省。

    Apr, 2019

  • 重新思考通道维度以实现高效模型设计

    本文提出一种轻量级模型的通道维度配置方法，该方法可以在计算成本有限的情况下实现更好的性能，并在ImageNet分类和迁移学习任务中取得了显着的表现。

    Jul, 2020

  • GEMEL：边缘实时视频分析的内存高效模型合并技术

    介绍了一种新的内存管理技术-模型合并(GEMEL)，通过合理地共享模型的层次结构和权重，减少了算力与内存的资源消耗，相对于时间/空间共享的解决方案，提高了8-39%的准确性，并将内存使用率降低了高达60.7%

    Jan, 2022

  • 通过层间内核共享大幅减少深度卷积神经网络中可训练参数数量

    提出在深度卷积神经网络中通过共享卷积层核来减少可训练参数数量和内存占用的方法，既能够缓解边缘计算内存限制，又能有效地防止过拟合。实验证明该方法能够在保持精度的情况下大幅减少模型大小。

    Oct, 2022

  • ZipIt! 不训练合并不同任务的模型

    本文提出了“ZipIt！”方法，通过特征合并和部分合并层实现两个架构相同的模型的合并，使得合并不同领域训练的模型变得更为可行。

    May, 2023

  • 融合不同任务和领域的视觉Transformer

    该研究旨在将训练在不同任务或领域的多个Vision Transformers (ViTs)合并成一个统一的模型，以保持每个任务或领域的良好性能，通过提出一种简单而有效的门控网络和模型权重相似性度量方法实现整体ViT模型的合并和性能提升。

    Dec, 2023

  • 关于逐层表示相似性的研究：用于具有单个分类器的多出口模型的应用

    我们研究了transformer模型中隐藏层之间的表示相似性，并展示了一个简单的样本级余弦相似度度量能够捕捉到这种相似性，并与复杂的统计方法CCA一致，通过提出对齐训练方法，我们增强了内部表示之间的相似性，并得到了具有多个隐藏层输出的模型，与标准训练相比，这些模型在中间层具有更高的准确性，并且当作为多出口模型时，它们能够与标准的多出口架构达到相当的性能，而我们的工作是首次证明一个普通分类器就足够用于多出口模型。

    Jun, 2024

  • 无监督领域适应下的分割任务逐层模型合并

    本研究解决了先前工作中合并多模型造成的高成本问题，提出了一种无成本的逐层模型合并方法，通过整合不同模型的初始层而保持任务特异性最终层的独特性，确保参数一致性。这一方法在无监督领域适应中展示出显著的性能提升，实验证明同构模型和异构模型的合并均可有效提高mIoU和mPQ。

    Sep, 2024

  • 在深度模型合并技术中寻找损失景观的共同点

    本研究解决了当前神经网络可解释性研究在理解模型训练行为及其任务特定行为方面的显著不足。通过分析模型合并文献并结合损失景观几何学的视角，提供了一种新的分类方法和四个主要方面的特征化，这些发现为提高机器学习的安全性和可信赖性奠定了基础。

    Oct, 2024