最佳优化社交环境中的合作学习
本论文研究了一组学习代理在协作对等网络中,每个代理根据自己的学习目标学习个性化模型。本文介绍和分析了两种异步流言算法,以完全分散的方式运行。我们的第一种方法旨在在网络上平滑预训练的本地模型,同时考虑每个代理在其初始模型中的置信度。在我们的第二种方法中,代理共同学习和传播其模型,基于其本地数据集和邻居的行为进行迭代更新,为了优化这一具有挑战性的目标,我们的分散算法是基于 ADMM。
Oct, 2016
本论文提出了一种自适应聚类和学习方案,使代理能够学习他们应该与哪些邻居合作以及忽略哪些其他邻居。通过这样做,该算法使代理能够识别他们的集群并在网络上实现改进的学习和估计精度。
Sep, 2014
本文提出了基于蒸馏的方法,并采用信任加权方案,使用伪标签的无标签辅助数据促进合作学习,以达成对辅助数据的标签共识。我们证明了该方案相对于本地训练能显著提高模型性能,同时也可以识别和缓解对于众多模型的负面影响。在个体数据训练以及模型架构存在异质性的情况下,该方法表现得尤为有效。
May, 2023
本文研究了社交机器学习框架中的错误概率,包括独立训练阶段和在图上进行合作决策阶段。针对两种有限观测的分类任务,我们描述了分布式学习规则并相应地分析了错误概率。针对统计分类问题,我们采用几何社交学习规则进行性能分析。针对单样本分类任务,我们建立了一个分布式学习规则作为集成分类器,并构建了该集成分类器的错误概率上界。
Jun, 2023
人工智能代理在现实世界中的部署需要与人类(以及其他异构的 AI 代理)可靠地合作。为了提供成功合作的形式化保证,我们必须对合作伙伴代理的行为做一些合理的假设。这项工作研究了在一个有限重复的、两个玩家的一般化总和矩阵游戏中与一个代理人群合作的问题,通过个体理性学习者的假设和在某个 Pareto 有效均衡策略下高概率实现至少与该策略相同效用,我们证明了这些假设本身不足以保证与目标人群成员的零 - shot 合作。因此,我们考虑了通过先前观察到的人群成员相互作用来学习与这样的人群合作的策略问题,并给出了学习有效合作策略所需样本数量的上限和下限。最重要的是,我们证明了这些界限可以比通过一种 “天真” 的问题简化到模仿学习中产生的界限更强。
Jun, 2024
我们提出了协同学习作为一个学习系统和人类用户之间交互的模型,其共同目标是为用户提供最大的效用结果。我们证明这种反馈可以从可观察的用户行为中推断出来,并且我们展示了在电影推荐任务和 Web 搜索排名任务中协同学习算法的应用。
May, 2012
本文提出了一种新的机器学习框架,旨在为实现公正和准确性而学习分组,从而减少 ML 模型在特定人群中的偏见和歧视,并在各种数据集上实现了最新技术的改进。
Apr, 2023
本文旨在解决半监督二分类集合聚合问题,以最小化在未标记数据上产生的预测损失,并找到了一类最小 - 最大最优预测。结果是一组半监督集合聚合算法,能像线性学习一样高效,但无需放松任何限制。它们的决策规则采用决策理论中熟悉的形式,将 Sigmoid 函数应用于集合边缘的概念,而不需要通常在基于边缘的学习中做出的假设。
Oct, 2015
本文提出一种正式的框架,介绍了衡量概率和合作信息传递有效性的新指标,证明了能够实现最佳合作推理的条件,并展示了这些原则如何指导机器学习算法的设计以及对人类和机器学习的影响。
May, 2017
研究了一种近期的协作 PAC 学习模型,在这个模型下,k 个执行 k 个不同任务的参与者协作学习单个工作于所有任务的分类器。该研究设计了新算法,其中的样本复杂度仅为学习单个任务的最坏情况样本复杂度的 O (ln (k)) 倍,样本复杂度的上界与之前的算法匹配,并且在某些参数范围内甚至比允许输出不同分类器以适用于不同任务的先前算法更好。
May, 2018