Dec, 2023

连续学习：视频表示的无遗忘冠军子网络

PDF
TL;DR通过使用 Winning Subnetworks (WSN) 来增强连续学习任务中的学习能力，提出了适用于 Few-Shot Class Incremental Learning (FSCIL) 和 Video Incremental Learning (VIL) 的 Soft subnetwork (SoftNet) 和 Fourier Subneural Operator (FSO)，FSO 的 Fourier 表示在 TIL、FSCIL 和 VIL 等不同情景中极大地提升了任务表现。
regularized lottery ticket hypothesiswinning subnetworkstask incremental learningfew-shot class incremental learningfourier subneural operator
发现论文，激发创造
  • 软赢子网络实现无遗忘连续学习

    提出的 WNS 和 SoftNet 方法使神经网络可以连续学习并选择从执行任务中产生的自适应二进制和非二进制子网络，该方法在任务递增学习中不会产生灾难性遗忘，并表现出比 WSN 更高的性能。

    Mar, 2023

  • 关于少样本类增量学习的软子网络

    提出了一种称为 SoftNet 的 few-shot 类增量学习方法，能够通过联合学习模型权重和自适应非二进制软掩码，在保留先前学习知识的同时，学习逐渐学习每个类别的几个示例，以解决此类问题，并超越基准数据集上的现有方法。

    Sep, 2022

  • 稀疏转移学习中的优胜彩票算法

    本文基于 Lottery Ticket Hypothesis 对一系列迁移学习任务进行研究，通过使用无结构量级剪枝来发现最优子网络，实验结果表明减少约 90-95% 权重的稀疏子网络在多个现实场景下能够达到或超过原始网络的准确度。

    May, 2019

  • 具有结构强胜算头奖券的 N 次多项式超参数化卷积神经网络

    给定一个研究论文，识别并提取五个准确代表其主题和研究领域的关键词。然后，通过一句简洁的中文句子总结该论文。输出结果为 JSON，包含关键词和摘要字段，无需解释。

    Nov, 2023

  • 随机初始化子网络与迭代权重回收

    该研究介绍了一种名为 Iterative Weight Recycling 的算法，该算法可在初始化的神经网络中识别重要权重的子集以供重复使用，可以提高模型稀疏度，此外还支持了多奖励彩票票据假设的互补结果，即高精度，随机初始化的子网络产生多样的掩码，展现了高度的变异性。

    Mar, 2023

  • WSNet: 通过权重采样实现紧凑高效的神经网络

    WSNet 是一种用于学习紧凑高效的深度神经网络的新方法和新架构，其通过采样可学习参数的紧凑集合来促进参数共享，并考虑应用在音频分类方面，实验证明此方法可以更有效地学习与基准相比卷积滤波器数量相等但更小的网络，并且在权重量化的情况下，所得模型的尺寸理论上可缩小至 16 倍，速度可提升至 180 倍，但无明显性能降低。

    Nov, 2017

  • 早鸟获得蠕虫：启发式加速早鸟收敛

    WORM 方法研究了 Lottery Ticket 假设和 Early Bird 假设，通过利用静态组中的不重要神经元来加速模型训练和减少计算量，提高了模型的鲁棒性并适用于不同的架构。

    May, 2024

  • 双重彩票神经元假设

    本论文提出 Dual Lottery Ticket Hypothesis 和 Random Sparse Network Transformation 实现稀疏神经网络训练，并通过实验证明了其有效性。

    Mar, 2022

  • 固定权重网络

    本文提出一种名为 “Weight Fixing Networks” 的新方法，通过结合多种技巧，如无损全网络量化、聚类代价等，旨在实现压缩深度学习模型中唯一参数数量的最小化，实验证明该方法优于现有压缩方法。

    Oct, 2022

  • 有序子图聚合网络

    本文提供了一种统一的方法来研究增强次图 GNN 的架构，包括理论框架和对子图增强 GNN 可表达性的已知结果进行扩展，同时研究了三种用于学习采样子图的方法，通过实验证明了数据驱动架构可以提高标准基准数据集的预测精度，同时减少计算时间。

    Jun, 2022