Jun, 2024

面向设备上高效增量学习的中心敏感核优化

PDF
TL;DR为促进边缘智能在不断变化的环境中的发展，本文研究了在有限计算资源约束下的设备上的增量学习。与当前只关注高效训练而不考虑灾难性遗忘的方法不同，本文提出了一种简单而有效的面向边缘的增量学习框架，通过对神经网络的核心元素的知识强度的经验研究，发现中心核心对于学习新数据的知识强度最大化起关键作用，冻结其他核心元素可以在克服灾难性遗忘方面取得良好平衡。基于这一发现，我们进一步设计了一个便于梯度计算和反向传播的中心敏感核心优化框架，并提出了一种动态通道元素选择策略，以促进稀疏正交梯度投影以进一步减少优化复杂性。广泛的实验验证了我们的方法的高效性和有效性，例如，与现有的设备上训练方法相比，我们的方法在甚至更少的内存和近似计算的情况下实现了平均准确度提升 38.08%，表明其在设备上的增量学习方面具有显著潜力。
edge intelligenceon-device incremental learningcatastrophic forgettingkernel elementsgradient computation
发现论文，激发创造
  • 通过梯度过滤实现高效的设备端训练

    本文提出了一种新的梯度过滤方法，使用少量的独特元素创建特殊的结构来显著减少反向传播期间的计算复杂度和内存消耗，从而实现了设备端深度学习模型训练，显著提高了速度和节省了能源。

    Jan, 2023

  • 通过过滤器剪枝和知识迁移在边缘设备上实现深度学习

    本文提出了一种在资源受限设备上部署和训练最先进模型的新解决方案，其中包括通过一种基于滤波修剪的模型压缩方法创造轻量级可训练模型，以及一种新型知识转移方法，允许在设备上的模型实时增量更新，并以无监督的方式通过云端模型学习新的类别。实验结果表明，该新方法可以在保持良好准确率的同时移除高达 99.36％的模型参数，并且允许在设备上的压缩模型在实时内收敛于增量学习任务并识别未见过的数据类别。

    Jan, 2022

  • 现在我能看到，我能改进：在边缘使 CNN 的数据驱动微调成为可能

    本文提供基于结构剪枝的边缘设备上的 CNN 微调方法，旨在提高模型精度和降低计算和存储性能消耗。结果表明，数据感知的剪枝和重新训练可以在各种子集，网络和剪枝级别上提供 10.2pp 的精度提高。

    Jun, 2020

  • 基于中心损失的持续学习正则化

    我们提出采用中心损失作为正则化惩罚来保留旧任务的记忆，从而使神经网络能够在学习新任务的同时保持对旧任务的高性能表现。

    Oct, 2021

  • On-Device Learning: 基于神经网络的现场可训练边缘 AI

    本文介绍了一种基于神经网络的设备本地 (on-device) 学习方法，该方法能够在低端设备上提高边缘人工智能 (Edge AI) 应用的精确度并节省计算和通信成本，特别是在有噪声的环境下重训练 (retraining) 后可显著提高异物检测 (anomaly detection) 的准确性。

    Mar, 2022

  • TKIL：基于正切核的类平衡增量学习方法

    该研究提出了一种基于神经切向核方法的深度神经网络类增量学习方法（TKIL），可以更好地平衡跨类别的性能，实现更高的整体准确性和方差。

    Jun, 2022

  • 探索如暴风雨，利用如雨滴：关于利用坐标下降优化器对内核调度器进行精调的益处

    通过将 AutoTVM 算法 Droplet Search 整合到 Ansor 的探索阶段中，我们展示了在减少搜索时间的同时提高内核质量的潜力。应用该方法于 Ansor 生成的前 300 个内核时，通常比允许 Ansor 分析 10,000 个内核时更快地获得更好的内核。

    Jun, 2024

  • 为少样本学习设计的实例和任务感知动态核学习

    本论文提出了一种动态卷积神经网络模型，能够通过每个任务的动态内核快速适应于给定任务的情境，并以整体和每个样本的基础上依独立地进一步调整每个通道和位置的注意力机制，从而能够同时关注全局信息和细微的特征并提高 Few-Shot Learning 的性能。在四个 Few-Shot 分类基准: mini-ImageNet、tiered-ImageNet、CUB 以及 FC100 中，以及一个 Few-Shot 检测数据集: MS COCO-PASCAL-VOC 中，得到了比基准模型更显著的成绩。

    Dec, 2021

  • 低功耗极端边缘嵌入式系统上的关键词检测设备域学习

    在本研究中，我们提出了一个完全基于设备的领域适应系统，相较于已经稳健的关键词识别模型，能够获得 14% 的准确度提升。我们使用少于 10 kB 的内存，仅 100 个标记的话语就能在适应复杂的语音噪声后恢复 5% 的准确度，展示了域适应在低功耗微控制器上的可行性，仅需 806 mJ 的能量，在始终开启的电池供电设备上执行时间为 14 秒。

    Mar, 2024

  • EdgeOL：边缘设备上高效的现场在线学习

    通过内部和外部优化，EdgeOL 边缘在线学习框架优化了推理准确率、微调执行时间和能量效率，平均降低了 82% 的微调执行时间和 74% 的能量消耗，并提高了 1.70% 的平均推理准确率。

    Jan, 2024