本研究对深度模型的预训练、网络结构、大小等方面进行了广泛的研究和深入分析，发现通过使用最先进的主干网络可以有效提高领域适应基线和设置新的基线，为未来的领域转移研究提供了更多的见解。

Mar, 2022

本文研究了在联邦学习中，预训练对于提高性能的重要性，并在人工生成的数据和分布式数据的情况下进行了探索，发现这些技术可以相互补充来进一步提高性能。然而，预训练似乎无法解决在非独立同分布数据情况下的局部模型漂移问题。

Jun, 2022

本文探讨使用自我蒸馏方法解决视觉Transformer在领域泛化问题上的过拟合问题，并在五个具有挑战性的数据集上实现了显著的性能提升，同时表现出了对最新领域泛化方法的优异性。

Jul, 2022

本文研究了如何有效地在联邦学习中使用预训练Transformer模型及其微调方法，实验结果表明，微调模型的偏置项是最好的策略，并且使用视觉-语言模型会比纯视觉模型的性能更好，且能提高模型精度并减少过拟合问题。

Nov, 2022

本文介绍了机器学习发展的过程及其在领域自适应和领域泛化方面的应用，重点介绍了联邦域泛化的概念和相关算法，分类为联邦域对齐、数据处理、学习策略和聚合优化，并提供了常用的数据集、应用、评估和基准，这些研究对解决在不同领域和分布数据上广泛存在的泛化问题具有重要意义。

Jun, 2023

通过使用预训练模型作为初始化点，利用最近类平均法编写分类器和使用两阶段方法进行微调，提高了联邦学习的效率和性能。

Jun, 2023

研究表明，在医疗和自然图像领域中使用自监督的数据预训练可以比在 ImageNet 上表现更好，其可取得可比或更好的效果并展示了基于领域边界的广义间隙和特定领域中学到的特征。

Jun, 2023

本文系统地研究了不同建筑元素，如激活函数和标准化层，对异构联邦学习中的性能的影响，并提供了关于异构联邦学习微体系结构设计原则的指导，发现纯CNN在处理异构数据客户端时，通过战略性的架构修改能够达到与Vision Transformer相匹配甚至超越其在鲁棒性方面的表现，并且该方法与现有的联邦学习技术兼容，在联邦学习基准测试中提供了最先进的解决方案。

Oct, 2023

联邦学习是一种有前途的研究范式，可以在各方之间进行机器学习模型的协作训练，而无需进行敏感信息交换。本研究对应用于视觉识别的联邦学习进行了广泛的回顾，强调深思熟虑的架构设计选择在实现最佳性能方面的重要作用。通过对各种先进架构的深入分析，我们实验证明了架构选择可以显著提高联邦学习系统的性能，尤其是在处理异构数据时。同时，我们研究了来自五个不同架构系列的19个视觉识别模型在四个具有挑战性的联邦学习数据集上的性能，重新调查了卷积架构在联邦学习环境中的劣势表现，并分析了规范化层对联邦学习性能的影响。我们的研究结果强调了在实际场景中的计算机视觉任务中架构设计的重要性，有效地缩小了联邦学习和集中学习之间的性能差距。

Oct, 2023

该论文介绍了Active Learning和Federated Learning的联合学习框架FEDALV，用于目标域广义化，通过减少特征复杂性和条件对齐来实现准确且高效的图像分类模型训练。

Dec, 2023