本文介绍了一种名为 Hierarchical Weight Averaging (HWA) 的新的深度学习神经网络权重平均训练框架，通过整合在线和离线平均方法，它能够同时提高收敛速度和泛化性能，同时解决了现有 WA 方法面临的问题。实验证明，HWA 明显优于现有方法。

Apr, 2023

通过 ACOWA 技术，在分布式训练中，通过额外的通信轮次获得更准确的近似解，相较于其他分布式算法，对于稀疏分布式逻辑回归，ACOWA 获得更接近经验风险最小化的解并实现更高的准确性。

Jun, 2024

本文介绍了在学习增强的在线算法中使用回归技术来预测未来输入参数的方法，并在广义滑雪租赁、装箱问题、最小完成时间调度等一般在线搜索方案的背景下探讨了这种方法。通过在设计回归问题的损失函数中结合在线优化基准，我们显示了这种回归问题样本复杂度的近似上下界，并将我们的结果扩展到了不可知设置。

May, 2022

该论文介绍了两种新颖的在线多任务学习回归问题的方法，分别基于高性能的基于图的多任务学习和基于加权递归最小二乘法（WRLS）和在线稀疏最小二乘支持向量回归（OSLSSVR）的递归版本。通过任务堆叠变换，我们证明存在一个单一矩阵，其中包含多个任务的关系，并提供结构信息供 MT-WRLS 方法在其初始化过程中和 MT-OSLSSVR 的多任务核函数中体现。与现有的以在线梯度下降（OGD）或不精确立方方法为主的文献形成对比，我们实现了在输入空间维度（MT-WRLS）或实例字典大小（MT-OSLSSVR）上具有二次每实例成本的精确和近似递归。我们通过一个真实的风速预测案例研究将我们的在线多任务学习方法与其他竞争者进行比较，证明了两种提出的方法在性能上的显著收益。

Aug, 2023

学习排序（LTR）是最广泛使用的机器学习应用程序之一。本文展示了如何将有效可解的公平排序模型整合到 LTR 模型的训练循环中，以在公平性、用户效用和运行效率之间取得有利的平衡。特别是，本文首次展示了如何通过 OOW 目标的约束优化进行反向传播，从而在集成的预测和决策模型中使用它们。

Feb, 2024

该研究提出了一种新型的循环神经网络模型，即循环加权平均模型，它能够在处理符号时利用之前处理步骤的所有信息，表现强于标准 LSTM 模型。

Mar, 2017

该论文旨在开发一种简单且可扩展的增强学习算法，使用标准的监督学习方法作为子程序。提出的 AWR 方法只需几行代码即可实现，能够适应连续和离散行动，其性能与许多最先进的 RL 算法相当，无需其他环境交互即可从纯静态数据集中获取更有效的策略。

Oct, 2019

本文提出了一种改进的人工智能医疗方法，叫残差加权学习，能够更好地优化治疗结果，提高疗效。

Aug, 2015

我们研究了在时间受限环境下的分布式深度学习模型训练，提出了一种新算法，通过按照工作节点的梯度范数的倒数进行加权平均来推动工作节点接近计算得出的中心变量，以优先恢复优化景观中的平坦区域。我们开发了两种异步变体的算法，分别称为模型级梯度加权平均算法（MGRAWA）和层级梯度加权平均算法（LGRAWA），其不同之处在于加权方案是针对整个模型还是逐层应用。在理论方面，我们证明了该方法在凸性和非凸性设置下的收敛保证。然后，我们通过实验证明，我们的算法通过实现更快的收敛速度和恢复更好的质量和平坦的局部最优解而优于竞争方法。我们还进行了一项剔除研究，以分析该算法在更拥挤的分布式训练环境中的可扩展性。最后，我们报告说，与现有基线方法相比，我们的方法需要较少的通信频率和分布式更新。

Mar, 2024

我们考虑一个确定性的在线线性回归模型，允许响应变量为多变量。为了解决这个问题，我们引入了 MultiVAW 方法，它将著名的 Vovk-Azoury-Warmuth 算法推广到多变量环境，并证明它在时间上也具有对数遗憾。我们将结果应用于在线分层预测问题，并将该文献中的算法作为特例恢复出来，从而放宽了通常用于其分析的假设。

Feb, 2024