算法鲁棒预测聚合
我们研究了一个关于二元决策聚合问题,其中既有真实可信的专家,又有对抗性的专家;我们的目标是设计一个稳健的聚合器来预测真实世界的状态,同时最小化与基准决策之间的预期损失差距。我们证明了在一些条件下,截断均值是最优的聚合器选择,并且很多情况下最优聚合器属于分段线性函数类;我们的结果表明,遗憾值与专家总数无关,只取决于对抗性专家的比例。
Mar, 2024
我们研究了一个二元决策聚合问题,两位专家根据观测到的关于未知二元世界状态的私人信号提出二元推荐。在专家的推荐观测情况下,一个不知道信号和状态之间联合信息结构的代理人试图将行动与真实状态匹配。我们在该情景下研究了是否能通过二阶信息进一步提高聚合效果,采用最小化后悔的框架来评估聚合器的性能,与一个知道联合信息结构的全知基准进行比较。我们发现通用的信息结构情况下,二阶信息并没有提供任何好处,没有聚合器能够比一个始终遵循第一个专家推荐的平凡聚合器更好。然而,当我们假设专家信号在给定世界状态的条件下相互独立时,积极的结果出现了。对于确定性聚合器,我们提出了一种利用二阶信息的鲁棒聚合器,可以明显优于没有二阶信息的对手。此外,在两个专家是同质的情况下,并在信号上添加一个非退化假设,我们证明使用二阶信息的随机聚合器可以超越没有二阶信息的最优聚合器。在其他情境中,二阶信息没有益处。我们还将上述结果推广到聚合器的效用函数更一般的情况。
Nov, 2023
本文提出了一种使用鲁棒集成中位数的方法来实现联邦学习的鲁棒性,该方法使用常数次迭代实现了随机平均值,不仅能保护隐私,而且在计算机视觉和自然语言处理的三个任务中也有较好的性能。
Dec, 2019
通过使用卷积神经网络构建了一个新模型,利用因子模型结构生成一致的预测结果;在三个层次预测数据集上相比其他方法显著提高了 11.8% 至 41.4%;同时分析了基层分布和因子数量对模型参数的影响。
Jul, 2023
该论文提出了一种使用 Adaptive Robust Optimization 构建具有适应性权重的线性回归集成的新方法,以提高时间序列预测模型的准确性和鲁棒性,并演示了其在空气污染管理,能源消耗预测以及热带气旋强度预测等实际应用中优于其他竞争性集成技术的性能。
Apr, 2023
本文提出一种能够在线预测的算法,能够在概率和对抗性设置下与未知复杂度的情境树专家相竞争。通过将结构风险最小化的概率框架纳入现有的自适应算法中,我们不仅可以稳健地学习存在随机结构的同时获得正确的模型阶数,并取得了能够与拥有强侧面信息的最优算法竞争的遗憾边界,从而提供了对模型和随机性同时适应性的第一个具体保证。
May, 2018
该研究旨在使用奖励函数来有效地做出明智的决策,通过提出抽象观测模型来降低计算成本并推导出期望信息论奖励函数的界限以及价值函数的界限,同时,提出了一种用于改善聚合方法的方法,实现了相同动作选择的计算时间减少。
Jan, 2022
本研究提出了一种可扩展的分层预测方法,利用基础时间序列的系数对分层约束进行建模,并使用一个随时间变化的线性自回归模型,同时考虑了相对时间序列预测的协调约束,实验证明该方法相较于现有分层模型具有显著的预测性能提升。
Jun, 2021
该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析,并通过与 FedAvg 进行分类任务的比较来评估其性能,得出了新的聚合算法,该算法可以通过区分客户端贡献的价值来修改其模型架构。
May, 2022