基于预测共识的协作学习
该论文研究类别不平衡问题，提出基于比较两个分类器预测结果的重新加权蒸馏损失，以改善专家之间的知识转移不平衡问题，并结合对比代理任务支路实现特征质量的进一步提升，实验表明所构建模型达到了最优性能。
May, 2023
本论文研究了一组学习代理在协作对等网络中，每个代理根据自己的学习目标学习个性化模型。本文介绍和分析了两种异步流言算法，以完全分散的方式运行。我们的第一种方法旨在在网络上平滑预训练的本地模型，同时考虑每个代理在其初始模型中的置信度。在我们的第二种方法中，代理共同学习和传播其模型，基于其本地数据集和邻居的行为进行迭代更新，为了优化这一具有挑战性的目标，我们的分散算法是基于 ADMM。
Oct, 2016
该论文提出了一种名为 “Peer Collaborative Learning” 的在线知识蒸馏方法，该方法能够将在线集成和网络协作融入一个统一的框架中，并在 CIFAR-10，CIFAR-100 和 ImageNet 等数据集上得到了验证及优于其他方法的效果。
Jun, 2020
本研究提出了一种协作多智能体强化学习的共识学习方法，通过基于本地观察的共识学习，在分散式执行期间将推断出来的共识明确地作为智能体网络的输入，从而发展他们的合作精神，并在若干完全合作任务上获得了令人信服的结果。
Jun, 2022
本文提出了一种有效的集成知识蒸馏方法，该方法能够从多个教师模型学习未标记数据的知识，并据此训练单个学生模型。研究表明，通过考虑不同教师之间的预测差异以及样本难度，可以进一步提高蒸馏的效果。
Apr, 2022
该论文提出了一种新的多标签学习方法，通过在标签空间中的稀疏重构来学习标签相关性，并将其无缝地整合到模型训练中，以明确考虑标签的相关预测。实验结果表明，该方法的表现优于现有的最先进技术。
Feb, 2019
该研究通过提出一种新的知识蒸馏目标，并利用一种被称为 “一致性” 的概念来选择前身模型作为教师，以减轻遗忘的知识。新的教师模型能够避免标签的遗忘，提高标记数据的不确定性 / 多样性，并弥补由人类注释器产生的有缺陷的标签。
Jan, 2022
在设备上进行自我监督的合作微调大规模语言模型的研究，使用三种不同的信任加权梯度集成方案，并与 FedAvg 和本地微调方法相比，使用少量的数据交换和 LoRA 权重更新，显示出在本地数据分布不均的现实场景中处理异质性和稀缺性方面的有效性。
Apr, 2024
该研究论文介绍了一种新颖的分布式机器学习范式 —— 共识学习，它将经典的集成方法与点对点系统中部署的共识协议相结合。该算法包括两个阶段：参与者开发模型并对任何新的数据输入提交预测；个体预测作为输入参与通信阶段，该阶段由共识协议控制。共识学习保证用户数据隐私，同时继承底层共识机制对拜占庭攻击的安全措施。我们对特定共识协议进行了详细的理论分析，并将共识学习集成与集中式集成学习算法的性能进行了比较。此外，通过各种数字模拟，描述了算法对拜占庭参与者的鲁棒性。
Feb, 2024