Jun, 2024

WAVE: 变长模型自适应初始化的权重模板

PDF
TL;DR針對模型初始化問題，本文提出了一種名為 WAVE 的多任務初始化方法，該方法在目標模型初始化過程中使用可調節的權重模板來改善預訓練模型不相容問題，並通過知識蒸餾將預訓練模型的知識轉移到結構化知識中，從而實現更高效的模型初始化和知識傳遞。
pre-trained modelsmodel deploymentinitialization problemvariable-sized modelswave
发现论文，激发创造
  • 基于阶段性权重共享的学习基因探索初始化变尺寸模型

    建立适应不同应用场景中多样资源约束的变量大小模型，权重初始化是训练前的重要步骤。Learngene 框架通过从大型已训练模型中学习一部分紧凑的 Learngene，再将其扩展用于初始化变量大小模型。本文分析了指导已训练 Learngene 层扩展的重要性，提出了一种称为 SWS（逐阶段权重共享）的简单而高效的 Learngene 方法，其中 Learngene 层和其学习过程对于在不同规模上初始化模型提供知识和指导。在 ImageNet-1K 上的大量实验证明，SWS 相对于从头开始训练的许多模型，性能更好且减少了约 6.6 倍的总训练成本。在某些情况下，SWS 经过 1 轮调优后效果更好。当初始化适应不同资源约束的变量大小模型时，与预训练和微调方法相比，SWS 在减少约 20 倍的存储参数以及约 10 倍的预训练成本的同时取得更好的结果。

    Apr, 2024

  • 使用较大模型进行初始化

    权重选择为在资源受限环境中训练小型模型提供一种新的方法，通过从预训练的大型模型中选择一部分权重，将知识迁移到更小的模型上，从而显著提升小型模型的性能并减少训练时间。

    Nov, 2023

  • 朝可扩展和多用途的权重空间学习迈进

    SANE 是一种权重空间学习方法，通过对神经网络的子集进行顺序处理，将较大的神经网络嵌入到学习表示空间中，并从层次嵌入中揭示全局模型信息，可生成新的神经网络模型，并在权重表示学习基准测试中达到或超过现有最先进方法的性能。

    Jun, 2024

  • 深度自适应小波网络

    本文提出一种采用多分辨率分析和波形表示的、深度神经网络的设计方法，以提升卷积神经网络的可解释性，并在图像分类任务中取得竞争性的准确性。

    Dec, 2019

  • 基于扩散的神经网络权重生成

    通过数据集条件的预训练权重采样，我们提出了一种高效且适应性强的迁移学习方案，通过学习一组预训练权重的分布来实现神经网络在未见数据集上的自适应采样，从而实现更快的收敛速度和更优的性能。

    Feb, 2024

  • BERT WEAVER: 采用加权平均实现基于 Transformer 的模型的生命周期学习

    提出了一种称为 WEAVER 的简单且高效的后处理方法，该方法将旧知识融入新模型中，从而减少灾难性遗忘，并且在序列方式下，应用 WEAVER 导致与一次性对所有数据进行联合训练相似的单词嵌入分布，同时具有更高的计算效率。

    Feb, 2022

  • 权重子克隆：使用更大预训练模型直接初始化 Transformer

    用权重子克隆（weight subcloning）技术从大型预训练模型中初始化规模较小的转换器模型，实现训练速度的显著提升。

    Dec, 2023

  • MultiWave: 基于小波分解的多尺度深层网络模型用于多变量时间序列预测

    本文提出了 MultiWave 框架，采用小波分解对多变量时间序列数据进行频率分组，并结合门控机制来提高各种深度学习模型的性能。多个实验表明，MultiWave 可以准确地识别信息丰富的频率带，提高模型性能，并提供有价值的应用见解。

    Jun, 2023

  • AdaWaveNet: 自适应小波网络用于时间序列分析

    此研究论文介绍了自适应小波网络（AdaWaveNet），它是一种新颖的方法，采用自适应小波变换对非平稳时间序列数据进行多尺度分析。AdaWaveNet 设计了基于 lifting scheme 的小波分解和构造机制，提供了增强的灵活性和鲁棒性，在预测、填充和高清重建等任务上表现出了优越的效果，展示了其在各种实际应用中的潜力。

    May, 2024

  • 权重增强：从未辜负其模型

    这篇论文提出了权重增强策略 (WAS)，通过随机变换权重系数训练和转换后的系数 (SW) 来影响参数更新，使网络具有高鲁棒性和准确性，适用于各种深度学习网络模型，并且实验证明其在各种网络上的效果都非常好。

    May, 2024