Jun, 2024

MeGA: 基于遗传算法的合并多个独立训练的神经网络

PDF
TL;DR本研究介绍了一种新的方法，使用名为 MeGA 的遗传算法合并多个预训练神经网络的权重。通过使用竞标选择、交叉和变异来优化权重组合，我们的方法允许合并模型继承父模型的优势特征，从而提高准确性和鲁棒性。通过在 CIFAR-10 数据集上的实验，我们证明了基于遗传算法的权重合并方法相比单独的模型和传统方法，能够提高测试准确性。这种方法为在各种深度学习应用中集成多个预训练网络提供了可扩展的解决方案。
pre-trained neural networksgenetic algorithmmegaweight mergingdeep learning applications
发现论文，激发创造
  • 使用遗传算法进行卷积神经网络的多目标剪枝

    提出了一种启发式遗传算法（GA）来剪枝卷积神经网络（CNN），在错误、计算和稀疏性之间进行多目标权衡，经实验证明，GA 可以根据预定义的适应度函数自动剪枝 CNN，得到竞争性的压缩性能。

    Jun, 2019

  • 通过元启发式微调改善预训练权重

    使用启发式元算法优化预训练权重可改善机器学习分类任务的结果。

    Dec, 2022

  • 深度神经网络的推理阶段统一和合并

    本文提出了一种新的卷积神经网络合并方法，在共享权重的基础上，将训练好的两个具有不同架构的网络在推断阶段融合为一个统一的模型，以适应资源有限的设备，实验结果表明此方法有效。

    May, 2018

  • MixtureGrowth: 通过组合学习参数实现神经网络的增长

    深度神经网络使用 MixtureGrowth 方法实现网络扩展和训练，提高了准确率，并减少了计算次数。

    Nov, 2023

  • 使用遗传算法改进 CNN 加速器的层间流水线

    通过图形排序的遗传算法，我们开发了一种针对卷积神经网络的层融合技术，减少了边缘平台上的数据传输，从而提高了能效和能延迟乘积（EDP），在类似 SIMBA 移动架构上的 MobileNet-v3 中实现了 1.8 倍的能效提升和 1.9 倍的 EDP 改善。我们的方法对 SIMBA 平台和 Eyeriss 平台的工作负载性能一致改善，平均 EDP 改善 1.4 倍和 1.12 倍。

    Nov, 2023

  • 轻量级自适应神经网络与 N-gram 语言模型混合

    本文介绍了一种通过小型神经网络来预测混合模型权重的方法，以提高神经语言模型和 n 元语法模型的性能。实验结果表明，该方法能显著提高 One Billion Word benchmark 上的性能。

    Apr, 2018

  • 基于语言模型权重演化的知识融合

    本研究提出了一种名为 Evolver 的知识融合方法，它可以将不同语言模型的权重进行集成，通过进化算法生成新的模型并与父模型进行评估，达到在不同数据领域通用且性能优越的目的，这种方法与现有模型合并框架无缝集成，为模型增强提供了一种多功能工具。

    Jun, 2024

  • 通过元梯度增强改善元学习的泛化能力

    本文从梯度规范化的角度出发，提出了一种数据无关的元梯度增强 (MGAug) 方法，通过网络修剪来打破背诵性记忆，并探讨了三种修剪策略，实验表明该方法在多个 few-shot 学习基准测试中显著提高了性能

    Jun, 2023

  • MEGAN: 多模态图像生成的混合专家生成对抗网络

    我们提出一种混合专家 GAN （MEGAN）方法，它使用多个生成器网络进行集成学习，并通过门控网络在不同条件下选择适当的网络，以生成具有特定子集的模式的图像。我们证明各自利用数据的不同部分，达到较高的多尺度结构相似性分数和竞争性的无监督内在分数。

    May, 2018

  • 通过层内神经元共享实现多任务压缩

    本文提出了一个跨模型压缩深度神经网络的多任务压缩框架（MTZ），采用一种层次神经元共享和更新方案进行交叉模型压缩，通过 40％参数共享实现了轻微的精度损失。

    May, 2018