Nov, 2023

LifeLearner：面向嵌入式计算平台的硬件感知元持续学习系统

PDF
TL;DRLifeLearner 是一种硬件感知的元可持续学习系统，它在确保高准确性的同时，极大地优化了系统资源（降低内存、延迟和能耗），并成功部署在资源有限的嵌入式平台和物联网设备上，实现了接近最佳的可持续学习性能。
发现论文，激发创造
  • 基于 Miro 的高性价比设备端内存层次上的连续学习

    本文首次探索了基于分层内存回放的连续学习在边缘设备上实现成本效益的设计空间，并提出了 Miro，一种系统运行时工具，通过动态配置连续学习系统以达到最佳成本效益，并在在线剖析与低开销的条件下适应最优数值，通过广泛的评估结果显示，Miro 在成本效益上显著优于基准系统。

    Aug, 2023

  • 嵌入式设备的在线持续学习

    本文研究了使用移动神经网络进行实时嵌入式设备上的在线连续学习的效果，通过测量它们的性能、内存使用、计算要求和对域外输入的泛化能力，验证了实时在设备上执行学习的有效性。

    Mar, 2022

  • 一个用于设备上连续学习的 TinyML 平台，具备量化的潜在回放功能

    本文提出了基于 PULP 处理器的深度学习端到端持续学习硬件 / 软件平台，利用量化和潜在重播来优化内存成本，以实现采用小型设备的实践多样性更新。

    Oct, 2021

  • 自主机器人的持续学习：基于原型的方法

    未来的自主智能机器人面临着从非重复稀疏数据流中学习、检测新颖性并具备无监督学习能力的挑战。本文通过提出一种名为 Continually Learning Prototypes (CLP) 的基于原型的方法，解决了这一挑战。CLP 在 FS-OCL 学习中表现出卓越的结果，在检测新颖性和无监督学习方面达到强基线水平。

    Mar, 2024

  • 超维度计算在边缘智能中的终身应用

    设计和部署了首个适用于有限监督的 IoT 应用的设备上终身学习系统 LifeHD，基于 Hyperdimensional Computing (HDC) 的轻量级学习模式，在离线边缘平台上实现，通过智能存储和管理高维、低精度矢量来提高非监督聚类准确性和能源效率。

    Mar, 2024

  • 自动化持续学习

    通用学习系统应在不断变化的环境中以开放式方式不断改进自己。本文提出一种自动连续学习 (ACL) 的方法，通过训练自指神经网络来元学习其上下文中的连续学习算法，以解决传统神经网络学习算法中的 “上下文灾难性遗忘” 问题。ACL 有效地解决了这个问题，并且其学习到的算法表现优于手工设计的算法，在无回放设置下，在 Split-MNIST 基准测试上实现了持续学习多个少样本和标准图像分类数据集的目标。

    Dec, 2023

  • TinyCL：自主系统上用于持续学习的高效硬件架构

    在资源受限的自主系统上执行连续学习的第一个硬件加速器 TinyCL，通过执行前向传播和反向传播，并进行内存管理和控制，实现了在训练模型上的高效率和高速度。

    Feb, 2024

  • 极限内存约束下的在线连续学习

    本文提出了一个新的问题 ——Memory-Constrained Online Continual Learning (MC-OCL)，我们通过 Batch-level Distillation（BLD）这种基于正则化的 CL 方法来解决这个问题，并在三个公开的基准测试中证明了我们的方法成功地解决了 MC-OCL 问题，同时实现了与需要更高存储开销的先前 distillation 方法相当的准确性。

    Aug, 2020

  • 受限内存下高效元生存学习

    本文提出一个高效的元学习框架，将终身学习的三个普遍原则相结合，以有效地训练同时避免灾难性遗忘和负迁移，并达到与多任务学习相当的性能。

    Oct, 2020

  • 无存储约束的在线持续学习

    本文提出了一种用于在线连续学习问题的简单算法，该算法采用 kNN 分类器和通用预先训练的特征提取器，可以在小的计算预算下紧凑存储和利用整个数据流，既能减少过往数据的灾难性遗忘，同时也能快速适应快速变化的数据流，同时在 Continual LOCalization (CLOC) 和 Continual Google Landmarks V2 (CGLM) 两个大规模 OCL 数据集上取得了最新的技术水平。

    May, 2023