边缘上高效的模型适应用于持续学习

Aug, 2023

边缘上高效的模型适应用于持续学习

Efficient Model Adaptation for Continual Learning at the Edge

Zachary A. Daniels, Jun Hu, Michael Lomnitz, Phil Miller, Aswin Raghavan...

TL;DR通过使用 Encoder-Adaptor-Reconfigurator（EAR）框架，本文提出了一种高效的持续学习方法，用于处理领域转移下的非平稳数据分布以及新的数据，该框架利用深度神经网络（DNN）特征编码器和浅层网络进行训练，通过组合 DNN 和超维计算（HDC）检测新数据是否在分布之外，使用零样本神经架构搜索（ZS-NAS）识别低参数神经适配器以适应分布之外的数据，并通过根据需要动态增长神经架构，并通过适当的适配器和重构器来处理领域增量和类增量的持续学习，以最小化对之前任务的灾难性遗忘。通过在几个基准数据集上系统评估我们的方法，并与最先进的 ODD 检测和零样本 NAS 算法进行对比，证明了我们方法的强大性能。

Abstract

Most machine learning (ML) systems assume stationary and matching data distributions during training and deployment. This is often a false assumption. When ML models are deployed on real devices, data distributions often shift over time due to changes in environmental factors, sensor c

machine learning stationary data distributions non-stationary automated ml encoder-adaptor-reconfigurator framework continual learning

发现论文，激发创造

增量式对抗性领域自适应技术在不断变化环境中的应用

通过敌对性劫持方法和生成式对抗网络，实现增量自适应学习，从而改进模型对环境变化的适应，实验证明该方法比直接单步对齐方法更优，在移动机器人等应用场景中有更好的适用性。

Dec, 2017

针对端到端通信的少样本领域自适应

本文提出一种基于自动编码器（autoencoder）的快速域适应方法来处理无线通信中信道改变的问题，该方法相比传统方法使用少量标记数据，不需要重复训练自动编码器，并且基于高斯混合密度网络（MDN）提出了一个正则化的参数适应方法。

Aug, 2021

基于适配器混合的预训练模型自我扩展的持续学习

自我扩展且具模块化适应的预训练模型的细调方法 (SEMA) 在连续学习中自动决定何时重用或添加适配器模块，并根据不同表示层检测到的剧烈分布变化来进行适应，通过比较基于视觉转换的连续学习适应方法，证明了该框架优于当前最先进的方法且无需记忆回放。

Mar, 2024

EdgeMA: 为边缘设备上实时视频分析的模型适应系统

EdgeMA 是一个实际高效的视频分析系统，通过基于统计纹理特征的灰度共生矩阵提取和随机森林分类器检测领域转变，以及基于重要性加权的模型适应方法，解决了边缘设备上实时视频分析中数据漂移问题，并通过真实数据集的严格评估，结果表明 EdgeMA 显著提高了推理准确性。

Aug, 2023

通过专家混合适配器增强视觉语言模型的持续学习

提出了一种参数高效的持续学习框架，通过在视觉语言模型中动态扩展一个预训练的 CLIP 模型，采用专家混合（Mixture-of-Experts）适配器以应对新任务，并引入分布鉴别自动选择器（DDAS）以保留视觉语言模型的零样本识别能力，并通过各种实验验证，该方法在提升性能的同时减少了 60% 的参数训练负担。

Mar, 2024

利用隐空间感知的序列自编码器泛化到不断演变的领域

本文提出了一种基于概率框架的隐变量结构自然语言生成器，通过探索深度神经网络中的潜在连续结构来解决不断演化的域泛化问题，特别是在处理非平稳和连续漂移的任务中，可以通过识别协变量漂移和概念漂移，为域泛化问题带来优越的性能。

May, 2022

自主深度学习：面向动态环境的迭代学习方法

本文提出了一种深度连续学习算法 ADL，它采用灵活的结构，通过自构建网络结构从头开始构建网络。ADL 通过不同深度结构来解决灾难性遗忘问题，并提出了 NS 公式、DDS 和 MICI 方法来驱动隐藏节点增长和剪枝机制、检测数据流中的分布变化并消除冗余层。在九个常见的数据流问题上进行的测试表明，ADL 能够在维持网络结构自动构建的同时，比其他现有的连续学习方法更具实效性。

Oct, 2018

变分密度传播持续学习

深度神经网络在真实世界中经常面临着分布漂移、各种类型的噪声和概念目标的变化。本文提出了一个适应连续学习数据分布漂移的框架，通过贝叶斯推断中的不确定性量化来缓解灾难性遗忘问题。通过优化一个闭式 ELBO 目标，通过传播分布的前两个矩阵（均值和协方差）来近似预测分布，我们将灾难性遗忘问题降至最低。

Aug, 2023

适应层深度神经网络用于区分分布外数据

本文提出了一种新的适用于深度神经网络（DNNs）的层自适应 OOD 检测框架（LA-OOD），该框架能够充分利用中间层的输出，通过在中间层同时训练多个 One-Class SVM OOD 探测器，以利用在 DNNs 不同深度上编码的完整光谱特征，而非仅集中于末端层特征，我们开发了一个简单而有效的层自适应策略来识别最佳层以便检测每个潜在的 OOD 样例。

Mar, 2022

适应和对齐：生成模型潜空间对齐的持续学习

利用生成模型中的潜在表示对神经网络进行迭代学习的 Adapt & Align 方法在论文中被介绍。该方法通过将生成模型的潜在表示对齐，解决了神经网络在重新训练时由于来自不同分布的额外训练数据而出现的性能突然下降的问题，并通过利用全局模型对局部模型的潜在表示进行整合，将知识转化为可用于下游任务（如分类）的方法进行连续知识整合。

Dec, 2023