Aug, 2023

基于 Miro 的高性价比设备端内存层次上的连续学习

PDF
TL;DR本文首次探索了基于分层内存回放的连续学习在边缘设备上实现成本效益的设计空间，并提出了 Miro，一种系统运行时工具，通过动态配置连续学习系统以达到最佳成本效益，并在在线剖析与低开销的条件下适应最优数值，通过广泛的评估结果显示，Miro 在成本效益上显著优于基准系统。
continual learningmemory hierarchyenergy efficiencyedge devicescost-effectiveness
发现论文，激发创造
  • LifeLearner：面向嵌入式计算平台的硬件感知元持续学习系统

    LifeLearner 是一种硬件感知的元可持续学习系统，它在确保高准确性的同时，极大地优化了系统资源（降低内存、延迟和能耗），并成功部署在资源有限的嵌入式平台和物联网设备上，实现了接近最佳的可持续学习性能。

    Nov, 2023

  • 一个用于设备上连续学习的 TinyML 平台，具备量化的潜在回放功能

    本文提出了基于 PULP 处理器的深度学习端到端持续学习硬件 / 软件平台，利用量化和潜在重播来优化内存成本，以实现采用小型设备的实践多样性更新。

    Oct, 2021

  • 极限内存约束下的在线连续学习

    本文提出了一个新的问题 ——Memory-Constrained Online Continual Learning (MC-OCL)，我们通过 Batch-level Distillation（BLD）这种基于正则化的 CL 方法来解决这个问题，并在三个公开的基准测试中证明了我们的方法成功地解决了 MC-OCL 问题，同时实现了与需要更高存储开销的先前 distillation 方法相当的准确性。

    Aug, 2020

  • TinyCL：自主系统上用于持续学习的高效硬件架构

    在资源受限的自主系统上执行连续学习的第一个硬件加速器 TinyCL，通过执行前向传播和反向传播，并进行内存管理和控制，实现了在训练模型上的高效率和高速度。

    Feb, 2024

  • REP: 资源高效的设备上持续学习中的提示

    利用先进的预训练 ViT 模型，本研究通过 REP 方法提高基于 ViT 的 on-device continual learning 的资源利用效率，避免牺牲准确性的情况下降低计算和内存成本。

    Jun, 2024

  • 使用二进制神经网络实现设备上的持续学习

    提出了一种将连续学习和二进制神经网络结合起来的解决方案，同时在设备上进行训练并保持竞争性的性能，该方法利用二进制潜在重播激活和一种新的量化方案，显著减少了梯度计算所需的位数，实验证实了模型的准确性和对内存需求的明显减少，从而扩展了深度学习在实际场景中的应用。

    Jan, 2024

  • InsCL：一种数据高效的连续学习范式，用于对大型语言模型进行微调并提供指导

    在本研究中，我们提出了一种称为基于指令的连续学习（InsCL）的新范例，通过使用 Wassertein 距离计算任务相似性并基于此动态地回放先前的数据，实现了基于任务相似性的回放策略，同时引入了指令信息度量（InsInfo）来量化指令的复杂性和多样性，并根据 InsInfo 指导回放过程更倾向于高质量的数据。我们在 16 个不同训练顺序的任务上进行了广泛的实验，观察到 InsCL 持续性能改进。当所有任务都训练完毕时，与随机回放相比，InsCL 实现了 3.0 相对增益，与无回放相比，实现了 27.96 相对增益。

    Mar, 2024

  • 关于连续学习中微小情节记忆的研究

    该研究实证分析了在连续学习过程中，引入极小的叙事性记忆在任务之间转移知识的有效性，并发现相较于特定的连续学习方法，该方法能利用极小的记忆显著提升泛化能力，对小样本问题有一定的启示。

    Feb, 2019

  • 互动式连续学习：快思和慢思

    基于互动持续学习框架，使用大型语言模型与记忆检索机制，以及模型之间的协作交互，实现抵抗遗忘和优越性能的持续学习。

    Mar, 2024

  • 基于门控增量记忆的连续学习用于序列数据处理

    提出基于循环神经网络（RNN）的连续学习模型，利用弹性权重合并法（EWC）处理输入分布的概念漂移，通过在两种不同类型的 RNN 之上实现和测试 EWC，比较了改进后的架构与 EWC 和 RNN 在标准连续学习基准测试中表现的差异，并高亮了需要专门解决 RNN 中的连续学习的问题。

    Apr, 2020