OnDev-LCT: 面向联合学习的设备本地轻量级卷积变换器

Jan, 2024

OnDev-LCT: 面向联合学习的设备本地轻量级卷积变换器

OnDev-LCT: On-Device Lightweight Convolutional Transformers towards federated learning

Chu Myaet Thwal, Minh N.H. Nguyen, Ye Lin Tun, Seong Tae Kim, My T. Thai...

TL;DR提出了 OnDev-LCT：适用于具有有限训练数据和资源的设备上的轻量级卷积变换器，该模型通过利用残差线性瓶颈块中的高效深度可分离卷积来提取局部特征，并通过 LCT 编码器中的多头自注意机制隐式地捕获图像的全局表示。大量基准图像数据集上的实验证明，我们的模型在拥有更少参数和更低计算需求的同时，优于现有的轻量级视觉模型，适用于具有数据异质性和通信瓶颈的 FL 场景。

Abstract

federated learning (FL) has emerged as a promising approach to collaboratively train machine learning models across multiple edge devices while preserving privacy. The success of FL hinges on the efficiency of participating models and their ability to handle the unique challenges of di

federated learning vision transformer on-device vision tasks limited training data resource-constrained edge devices

发现论文，激发创造

FedConv: 强化卷积神经网络用于处理联邦学习中的数据异质性

本文系统地研究了不同建筑元素，如激活函数和标准化层，对异构联邦学习中的性能的影响，并提供了关于异构联邦学习微体系结构设计原则的指导，发现纯 CNN 在处理异构数据客户端时，通过战略性的架构修改能够达到与 Vision Transformer 相匹配甚至超越其在鲁棒性方面的表现，并且该方法与现有的联邦学习技术兼容，在联邦学习基准测试中提供了最先进的解决方案。

Oct, 2023

基于 Vision Transformers 的轻量级 CNN 竞争移动设备

通过引入高度成本效益的局部全局局部（LGL）信息交换瓶颈，结合最优的自注意力和卷积，我们引入了 EdgeViTs，这是一种新的轻便 ViTs 家族，它们能够在准确性和设备效率之间的权衡中与最佳轻量级 CNNs 竞争，并优于其他 ViTs 几乎在所有情况下，证实了模型是帕累托最优的。

May, 2022

具有增强自注意力的轻量级视觉 Transformer

本研究提出了 Lite Vision Transformer（LVT），一种新型的轻量级 transformer 网络，其中包含两种增强自注意力机制，以提高模型在移动部署中的性能表现，并在 ImageNet 识别、ADE20K 语义分割和 COCO 全景分割中具有优越性能。

Dec, 2021

面向边缘计算的个性化深度神经网络联合学习

该研究提出了一种多任务联邦学习算法，通过添加非联邦批归一化层来允许用户训练个性化的模型，该算法支持联邦优化策略并在实验中表现出更快的收敛速度和更好的个性化精度。

Jul, 2020

FedTune：使用预训练 Transformer 进行高效联邦微调的深入探究

本文研究了如何有效地在联邦学习中使用预训练 Transformer 模型及其微调方法，实验结果表明，微调模型的偏置项是最好的策略，并且使用视觉 - 语言模型会比纯视觉模型的性能更好，且能提高模型精度并减少过拟合问题。

Nov, 2022

增强大规模异质联邦学习的展望与转换器

分布式数据合作的联邦学习旨在解决数据隐私问题，该研究通过比较实验证明基于 Transformer 的联邦学习模型在大规模异构任务中具有泛化和个性化方面的优势。

Aug, 2023

将卷积结构融入视觉 Transformer

本论文提出了一种结合卷积神经网络和 Transformer 的新型算法 Convolution-enhanced image Transformer (CeiT)，在 ImageNet 和七个下游任务中实现了与先前 Transformer 和目前最先进的卷积神经网络相当的效果，而无需大量训练数据和额外的卷积神经网络教师，同时具有更好的收敛性和更低的训练成本。

Mar, 2021

通过连续的层次训练，在计算受限设备上聚合联邦学习的容量

介绍了一种新的方法，即对联合学习模型的参数进行连续冻结和训练，以减少设备上的训练资源需求，同时仍允许足够的参数协同适应度，大大提高了训练模型的准确性和分布式设备的计算能力的高效汇集。

May, 2023

语言引导的联邦多标签分类的 Transformer

提出了一种用于多标签分类的新型联邦学习框架（FedLGT），旨在解决用户异构性和标签相关性等挑战，通过在不同客户端之间传递知识来学习出稳健的全局模型，实验证明在多标签联邦学习场景下超过了标准联邦学习技术，并获得了令人满意的性能。

Dec, 2023

边缘设备上的大型 CNN 联邦学习：团队知识传输

本文提出了一种基于群知识转移算法的联合学习方法 FedGKT，旨在克服边缘设备资源受限问题，实现小型卷积神经网络的训练。该方法可在保证模型准确率的同时，降低对计算资源和通信带宽的需求，提高算法效率。在 ResNet-56 和 ResNet-110 上的实验结果表明，FedGKT 相对于 FedAvg 取得了可比甚至更高的准确率，同时减少了边缘设备的计算功耗和网络参数数量。

Jul, 2020