Sep, 2023

E2Net: 弹性扩展网络的资源高效连续学习

PDF
TL;DR我们提出了一种资源有效的连续学习方法，称为弹性扩展网络（E2Net），通过核心子网络精简和精准回放样本选择，实现了卓越的平均准确性和降低遗忘，在相同的计算和存储限制条件下，同时最小化处理时间。
continual learningelastic expansion network (e2net)core subnet distillationprecise replay sample selectionrepresentative network distillation
发现论文，激发创造
  • 动态训练和可定制推断的弹性神经网络

    通过动态神经网络的方法，我们提出了一种训练大型网络并在推理阶段从中提取子网络的简单方式，以满足模型尺寸或复杂性约束，实验证明该方法可以在单个大型模型中显著缩短训练时间，并在不同子网络尺寸和复杂性上有效提高分离性能。

    Dec, 2023

  • 动态可扩展网络下的终身学习

    本研究提出了一种名为 DEN (Dynamically Expandable Network) 的深度网络架构，可以在学习一系列任务时动态决定其网络容量，从而学习任务之间的重叠知识共享结构，通过选择性重新训练、动态扩展网络容量和时间戳来有效地防止语义漂移，并在现有公共数据集中验证了 DEN 的有效性。

    Aug, 2017

  • 深度层级动态神经网络中的嵌入式知识蒸馏

    本研究提出了一种嵌入知识蒸馏机制的深度级联动态神经网络 (DDNN)，通过 Kullback-Leibler 散度和自注意力蒸馏在在线知识蒸馏中获得多个高精度子网络，以提高子网络的泛化能力，从而在 CIFAR-10/100 和 ImageNet 数据集上实现了 better performance than individually training networks while preserving the original performance of full-nets。

    Mar, 2021

  • eXtended DER-verse 中的类增量继续学习

    本研究针对我们先前提出的 Dark Experience Replay（DER）方案的缺点进行了评估和克服，提出了一种称为 eXtended-DER（X-DER）的改进方案，它能够在连续学习设置中拓展我们的模型，获得了显着的提高。

    Jan, 2022

  • 加速推理与减少遗忘：早退出网络在持续学习中的双重好处

    通过实验证明，早期退出网络和持续学习之间存在内在的协同作用，强调它们在资源受限环境中的实际效用。

    Mar, 2024

  • TripleE: 基于剧集重播的易用领域泛化方法

    本篇论文提出了 TripleE 方法，旨在扩大学习数据集，包括学习复盘和扩增方法，该方法简单易于实现，通过增强数据空间，优于其他领域泛化方法。

    Oct, 2022

  • 参数高效的增量式学习的互补学习子网络

    本文提出了一种新的无需回放的类增量学习方法，该方法通过学习两个互补学习子网络之间的协同作用，包括联合优化可塑性 CNN 特征提取器和解析前馈分类器来实现。该方法在训练期间不需要存储过去的数据，可以掌握新的课程，同时保持对以前学习过的课程的识别和知识保留。

    Jun, 2023

  • 大型语言模型的进化子网络训练

    基于大规模语言模型参数冗余的启发，我们提出了一种新的训练范式：进化子网络训练（EST），并将其应用于训练 GPT2 和 TinyLlama 模型，从而实现了 26.7％的 FLOPs 节省以及在下游任务中的性能提升，从而减少了训练成本并提高了泛化性能。

    Jun, 2024

  • 密集网络扩展用于类别增量学习

    提出了一种基于 Dense Network Expansion 和 Cross-Task Attention 机制的类别增量学习方法，实现了在保持旧数据特征空间的基础上，减缓网络和特征规模增长速率，解决了算法复杂度和准确率之间的 trade-off 问题。

    Mar, 2023

  • 大规模经济调度的端到端可行优化代理

    本文提出了一种新的 End-to-End Learning and Repair（E2ELR）架构，用于训练经济调度问题的优化代理。E2ELR 将深度神经网络与闭式、可微分的修复层结合起来，以端到端的方式集成了学习和可行性。同时，E2ELR 还使用自监督学习进行训练，无需标记的数据和离线解决众多优化问题。在评估时，E2ELR 使用经济调度来优化能量和储备，针对拥有数万个母线的工业规模电力网进行评估。结果表明，自监督的 E2ELR 实现了最先进的性能，在优化差距方面优于其他基线至少一个数量级。

    Apr, 2023