分布式远程学习中基于投影的潜在凝聚

Mar, 2023

分布式远程学习中基于投影的潜在凝聚

Projected Latent Distillation for Data-Agnostic Consolidation in Distributed Continual Learning

Antonio Carta, Andrea Cossu, Vincenzo Lomonaco, Davide Bacciu, Joost van de Weijer

TL;DR本文提出了一种 Data-Agnostic Consolidation (DAC) 双知识蒸馏方法，通过新的投影潜在蒸馏损失函数在潜在空间中蒸馏模型，从而在单个设备上实现了零成本的前向传递，进而在分布式持续学习情境中实现流模型的知识整合和转移，最终在各类数据集中达到了最先进的效果。

Abstract

distributed learning on the edge often comprises self-centered devices (SCD) which learn local tasks independently and are unwilling to contribute to the performance of other SDCs. How do we achieve forward trans

distributed learning self-centered devices continual learning knowledge distillation data-agnostic consolidation

发现论文，激发创造

基于知识蒸馏的本地差分隐私分布式深度学习

本文提出了一种隐私保护的分布式深度学习框架 LDP-DL, 通过使用本地差分隐私和知识蒸馏进行模型训练。实验结果表明，在三个常用深度学习数据集 (CIFAR10, MNIST, FashionMNIST) 上的实验中，LDP-DL 在隐私预算和模型准确性方面均优于其他竞争对手。

Feb, 2022

稠密提取累积知识用于连续学习

连续学习面临的致命遗忘问题可以通过稠密知识蒸馏方法得到改善，该方法可以在所有任务间蒸馏累积知识，提高模型的稳定性。

May, 2024

对比有监督蒸馏用于连续表示学习

本文提出了一种名为对比监督蒸馏（CSD）的训练过程，用于解决连续表征学习中的灾难性遗忘问题，如何通过利用蒸馏设置中的标签信息来降低特征遗忘并学习有区别力的特征，从而使学生模型从教师模型中进行对比学习，在视觉检索任务中缓解灾难性遗忘，且表现优于当前的最新方法。

May, 2022

基于知识蒸馏的分布式连续学习在普适计算中的应用

本文提出了一种基于蒸馏的联邦继续学习方法，通过使用定期收集的客户端数据逐步适应接收到的模型，以减少存储数据的量，避免灾难性遗忘问题，并在人类活动识别领域进行了评估。

Jul, 2022

适应性特征融合的知识蒸馏分类增量学习

本论文提出了基于深度神经网络的一种新型增量学习方法，该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示，以适应新任务，克服了数据访问受限导致的灾难性遗忘问题，并在标准数据集上实现了显著的准确性改进。

Apr, 2022

潜在数据集精炼与扩散模型

我们提出了一种结合潜在空间扩散模型和数据集精炼的潜在数据集精炼方法（LD3M），旨在解决机器学习面临的大型数据集和高分辨率图像生成的挑战，并在多个 ImageNet 子集和高分辨率图像上实验表明，LD3M 在 1 个和 10 个图像每类的情况下，相比最先进的精炼技术，提高了最高 4.8 个百分点和 4.2 个百分点的性能。

Mar, 2024

通过深度模型巩固实现类增量学习

本文提出了一个名为 Deep Model Consolidation（DMC）的类增量学习范式，它通过利用公共可用的无标签辅助数据，将训练数据集中的已知类和未知类分别训练成不同的模型，然后通过新型的双重蒸馏训练目标结合两个模型，从而解决了增量学习中的 “灾难性遗忘” 问题，并在单头 IL 设置中，相比于现有技术，显著提升了图像分类和物体检测的性能。

Mar, 2019

通过合成数据防止知识蒸馏中的灾难性遗忘和分布不匹配

本论文提出了一种基于知识蒸馏的数据无需模型压缩框架，通过维护一个动态的生成样本集合并添加实际数据分布的限制，解决了现有数据无需压缩方法中可能存在的灾难性遗忘问题和人工数据分布不匹配问题。在 SVHN、Fashion MNIST 和 CIFAR100 数据集上与最先进的方法相比，表明可以提高通过知识蒸馏获得的学生模型的精度。

Aug, 2021

任务无关表示整合：基于自监督的持续学习方法

提出了 Task Agnostic Representation Consolidation (TARC)，一种用于连续学习的两阶段训练范式，将自监督训练和有监督学习交织在一起，旨在解决深度神经网络（DNNs）中的遗忘问题。实验证明，该训练法可以轻松地添加到基于记忆或基于正则化的方法中，并为更具挑战性的 CL 设置提供一致的性能提升，同时实现更稳健和良好校准的模型。

Jul, 2022

潜空间中的数据集蒸馏

该论文在新兴的数据集精华领域将数据集提炼的过程从传统的像素空间转移到潜变空间，通过使用预训练的通用自动编码器对潜变空间中的潜变编码进行编码，从而解决高时间复杂度、高空间复杂度和低信息紧凑性的问题，以显著降低时间和空间开销，提高性能。

Nov, 2023