本文研究针对少量异构数据的 out-of-distribution （OOD）泛化性能，提出一种新的 few-domain generalization (FDG) 框架，并结合元适应性任务采样（MATS）和情节化训练（episodic training）方法，显著提高了在 PACS 和 DomainNet 等广泛使用的基准测试中的 OOD 泛化性能。

May, 2023

本文介绍了 Fine-tuning pre-trained models 方法的缺点，提出了采用参数稀疏性进行参数调优的方法，并且通过理论分析表明，这种参数稀疏性会在一定程度上控制稳定性上限，提高泛化能力；同时还提出了一种新的 SAM 方法用于选择可调参数，并通过实验证实了理论分析的正确性。

Nov, 2022

使用 Omni-SMoLA 结构及 Soft MoE 方法，在大规模多模态模型上实现了性能提升，广泛应用于生成式视觉与语言任务中，达到最新的至顶性能水平。

Dec, 2023

通过提出混合稀疏适配器（MoSA）作为一种新颖的适配器调整方法，旨在充分发挥每个适配器参数的潜力，本研究对一系列 27 个视觉任务进行了广泛实验证明，MoSA 始终比其他适配器调整方法和基准线方法表现更好，并在低资源和多任务设置的两个具有挑战性的场景中展现了令人满意的结果。

Dec, 2023

通过稀疏模型结构和专家混合的方法，我们提出了一种名为 PESC 的新方法，使得模型能够在指令调整阶段扩展容量，从而在多个任务上提高性能，并且通过最小化参数增加量来降低计算成本和 GPU 内存要求。实验证明，使用 PESC 的稀疏模型在功能上优于其他开源稀疏模型并且比 GPT3.5 具有更优秀的整体性能。

Jan, 2024

通过选择稀疏子矩阵以减少计算资源开销和内存消耗，我们介绍了一种名为 Sparse Matrix Tuning (SMT) 的方法，用于填补参数有效微调（PEFT）与完全微调（FT）之间的性能差距，并在多个任务中展示了其超越了其他 PEFT 的基准方法（如 LoRA 和 DoRA），同时与 FT 相比，GPU 内存占用减少了 67%。

May, 2024

我们关注多领域神经机器翻译，旨在开发能够处理训练期间见过的各种领域数据并对未见过的领域具有鲁棒性的高效模型。我们假设稀疏专家混合（SMoE）模型非常适合这个任务，因为它们能够实现高效的模型扩展，有助于适应各种多领域数据，并允许领域间参数的灵活共享，从而可能实现类似领域之间的知识传递，并限制负面传递。我们进行了一系列实验证实 SMoE 在多领域场景中的效用，并发现在实践中，对 Transformer 进行简单的宽度扩展是一种更简洁且出人意料地高效的方法，其达到了与 SMoE 相同的性能水平。我们还寻求多领域系统的更好鲁棒性方法，强调了混合通用领域（如 Paracrawl）的重要性，并引入了一种简单的技术，即领域随机化。

Jul, 2024

多样的 fine-tuning 方法中，我们的实验结果表明，DomainSpecific and General Knowledge Fusion (DSGF) 的整合显著提高了各种方法和 fine-tuning 方法的少样本 OOD 检测能力。

Nov, 2023

通过引入动态的专家混合技术（DynMoE），我们的方法在视觉、语言和视觉 - 语言任务中取得了竞争性能，同时通过激活更少的参数来保持效率。

May, 2024

本篇研究证明，考虑下游微调方法会提高轻量级微调技术的性能，通过使用 MAML 和优化元学习技术为轻量级微调方法进行预先训练，我们可以使受过训练的语言模型适合轻量级微调，从而在跨语言 NER 微调中获得高达 1.7 分的收益。

May, 2022