关键词federated distillation
搜索结果 - 10
- 联邦蒸馏：调查
该论文就联邦蒸馏（FD）提供了全面的概述，介绍了其最新进展，探讨了 FD 框架的基本原理，阐述了应对各种挑战的 FD 方法，并提供了 FD 在不同场景中的多样化应用。
- 分布式数据集蒸馏与子任务分解
神经网络在从特定任务的数据集中进行训练时学到了什么？数据集精炼是合成这种知识的中心思想，我们提出了分布式数据集精炼（D3）方法，使用最小的充分类别统计信息，与解码器一起使数据集转化为一种更节省内存的分布式表示方法。通过对数据集进行分割、并行 - 联邦蒸馏中的对数攻击
Federated Distillation (FD) 是一种新颖且有前景的分布式机器学习范式，其中利用知识蒸馏来促进更高效和灵活的跨设备知识传输。我们引入了一种为 FD 量身定制的攻击方法 FDLA，其通过操纵 FD 中的逻辑通信来显著降 - 通过累积本地更新改进联邦蒸馏的通信效率
通过在学习过程中传输只有小规模知识，作为一种新兴的联合训练范式，联合蒸馏能够实现高效的模型训练。为了进一步提高联合蒸馏的通信效率，我们提出了一种新的技术，ALU，它在将知识传输到中央服务器之前累积多个局部更新轮次。ALU 显著降低了联合蒸馏 - 探索无代理数据联邦蒸馏中分布式知识一致性
本文提出了一种基于分布式知识一致性的无代理数据 Federated Distillation 算法以减轻客户端模型异质性带来的知识不一致问题，并设计了优化策略以保证本地模型参数能够满足近似相似分布并被视为一致。实验表明该算法在多种异构设置下 - FedAUX：在联邦学习中利用未标记的辅助数据
本文提出了 FedAUX, 是一种改进的 Federated Distillation 算法，旨在通过在辅助数据上执行无监督的预训练并使用差分隐私确信度评分来提高模型的训练性能，实验结果表明 FedAUX 在 iid 和非 iid 模式下， - MM联邦知识蒸馏
介绍了分布式学习中一种名为 Federated Distillation 的解决方案，实现了模型参数的共享，通过知识蒸馏、共同蒸馏等算法，交换神经网络模型的输出，提高了通信效率，并展示了其在不同任务和环境下的适用性。
- MMMix2FLD: 双向 Mixup 的上行联邦蒸馏后的下行联邦学习
提出 Mix2FLD，一个新的通讯高效且隐私保护的分布式机器学习框架，用于解决上下行容量不对称问题。混合线性上传本地样本，并在服务器上反混合不同设备的样本，以保持隐私并提高准确性和收敛速度。在不对称上下行信道下，与联邦学习相比，Mix2FL - 异构数据分布式边缘学习的无线联邦蒸馏
本文研究了存在无线通信信道时的分布式机器学习中的协作训练方法，提出了数字实现和过空中计算实现的联合源 - 信道编码方法，并在高斯多址信道下进行了评估。
- NIPS通信高效的设备端机器学习：非独立同分布私有数据下联合蒸馏与增强
提出了一种名为联邦蒸馏（FD）的分布式模型训练算法，其通信负载大小比联邦学习（FL）小得多，尤其是当模型大小较大时，并提出了一种名为联邦增强（FAug）的方法来处理设备间用户生成数据样本分布不同的问题。实证研究表明，采用 FD 和 FAug