联合加权平均 (JWA) 算子
本文讨论了一种将前导事件影响和价值归因两种机器学习模型解释方法融合起来的算法 AVA:Aggregate Valuation of Antecedents,通过 AV 加权聚合特征归因,不仅能检索局部解释,还能捕捉模型学习到的全局模式。验证实验表明 AVA 方法的优越性。
Jan, 2019
本文介绍了一种新的权重平均策略 ——Diverse Weight Averaging (DiWA),通过多次独立训练获得的模型权重进行平均,以增加模型的功能多样性,并提出了一种新的误差分解方法来说明多模型平均在测试期间建模分布发生变化时成功的原因,并通过实验证明,DiWA 在不增加推理开销的情况下始终提高了 DomainBed 基准的表现。
May, 2022
本文研究了加权模型平均对任意标量均值估计问题的影响,发现加权平均模型可以减少局部模型的期望平方误差,并量化了加权模型平均的(可能为负的)益处。这项研究正式确定了一种量化协作学习个性化价值的方法,并为未来多元参数估计和基于一系列假设的检验研究提供了框架。
Oct, 2021
本文介绍了一种名为 Hierarchical Weight Averaging (HWA) 的新的深度学习神经网络权重平均训练框架,通过整合在线和离线平均方法,它能够同时提高收敛速度和泛化性能,同时解决了现有 WA 方法面临的问题。实验证明,HWA 明显优于现有方法。
Apr, 2023
提出了自适应随机权重平均(ASWA)技术,该技术结合了随机权重平均(SWA)和提前停止技术,仅在验证数据集上提高泛化性能时更新模型参数的运行平均值。对于图像分类到知识图谱上的多跳推理等广泛实验中,结果表明 ASWA 在模型和数据集上都能实现统计上更好的泛化。
Jun, 2024
该论文通过引入 OWA 机制,提出了一种有效解决双边匹配问题(一方的代理人 / 审稿人对另一方的对象 / 论文有偏好,双方都有容量的约束条件)的算法,并将其应用于资源分配等领域。
May, 2017
通过 ACOWA 技术,在分布式训练中,通过额外的通信轮次获得更准确的近似解,相较于其他分布式算法,对于稀疏分布式逻辑回归,ACOWA 获得更接近经验风险最小化的解并实现更高的准确性。
Jun, 2024
本文介绍一种新的工具,用于可视化和显示加权排名聚合方法的排名信息。我们使用重量集分解来研究解决这种问题时产生的信息。这种方法可以将聚合排名中被折叠的信息转化成一种有用、可解释、直观的决策支持工具。
May, 2022
针对类别不平衡学习任务,在多个训练模型的基础上使用模型权重平均化技术(Model Weight Averaging,MWA)可以提高性能,而在早期时期进行模型平均化比后期效果更好。本文提出了一种名为迭代模型权重平均化(Iterative Model Weight Averaging,IMWA)的用于类别不平衡学习任务的新型 MWA 技术,通过将整个训练阶段划分为多个时期,在每个时期内从相同的初始化模型权重并行训练多个模型,然后进行平均得到一个模型。IMWA 相比于标准 MWA 可以在相同的计算成本下实现更高的性能改进,同时能够进一步提高采用 EMA 策略的方法的性能,从而显示出 IMWA 和 EMA 具有互补效应。对于多个类别不平衡学习任务的大量实验证明了 IMWA 的有效性。
Apr, 2024