Oct, 2021

平均集成：提升领域泛化中的模型选择和性能

PDF
TL;DR通过在训练过程中对模型进行平均和模型集成的方法，提出了一种新颖的领域泛化模型，能够显著提高模型的稳健性和泛化能力。同时，通过应用偏差 - 方差平衡的理论，解释了该方法有效性的原因。
domain generalizationstochasticitymodel averagingensemble of averagesbias-variance trade-off
发现论文，激发创造
  • 朝着更好的领域外泛化评估

    领域通用化的目标是设计算法和模型，能够在之前未见过的测试分布上取得高性能。本研究中，我们对平均度量进行了细致的探究，并提出了 “最差 + 间隙” 度量作为一种强健的替代方案。通过理论推导和实验分析，我们发现平均度量不能准确近似真实的领域通用化性能，而 “最差 + 间隙” 度量在理论上和实践中都表现出了鲁棒性。

    May, 2024

  • WASH：使用通信高效的权重重排，然后平均训练你的集成模型

    WASH 是一种新的分布式方法，用于训练模型集合以进行权重平均化，实现了最先进的图像分类准确性。

    May, 2024

  • 稀疏专家组合是具有领域普适性的学习器

    本文提出了一种基于视觉 Transformer 的领域泛化模型 GMoE，通过研究架构与数据集中相关性的一致性来表征网络的抗干扰性；实验表明 GMoE 使用 ERM 训练的性能大幅优于 SOTA DG 基线，并且在使用新的 DG 算法进行训练时其性能有了显著改善。

    Jun, 2022

  • Ensemble-Compression: 深度神经网络并行训练的新方法

    介绍了一种新的并行训练框架，Ensemble-Compression（简称 EC-DNN），该框架使用集成学习的方法来聚合本地模型，解决了参数平均方法在非凸模型上的问题，通过蒸馏方法进行压缩，实验结果表明 EC-DNN 具有许多优势。

    Jun, 2016

  • 平均权重导致更宽的随机局部极小值和更好的泛化

    通过在 SGD 轨迹上抽样多个点进行简单平均，Stochastic Weight Averaging（SWA）过程实现了比传统训练更好的泛化，SWA 获得了 CIFAR-10、CIFAR-100 和 ImageNet 上多个最先进网络的显着测试精度提高，而且 SWA 实现简单、无几乎不需要计算成本。

    Mar, 2018

  • 探索用于提升集成强健性的模型学习异质性

    通过形式分析和实证评估，本文展示了异构深度集成模型可以通过高集成多样性有效地利用模型学习的异质性以提高集成的鲁棒性。

    Oct, 2023

  • 多样化合奏提高校准度

    本文探讨了在深度神经网络中使用集成学习以及数据增强等技术，以提高 CIFAR10 和 CIFAR100 基准数据集的准确率和校准度。

    Jul, 2020

  • 解释性集成的聚合 f - 平均神经网络

    使用集成学习方法和聚合方法相结合的浅层神经网络在少样本类别增量学习问题上表现出良好性能。

    Oct, 2023

  • 深度域泛化的批归一化嵌入

    该研究提出一种基于批标准化和集成模型的域泛化方法，以在不同和未知的领域中提高机器学习模型的鲁棒性和分类准确性。

    Nov, 2020

  • 使用模型平均法并行训练深度神经网络的实验

    本研究针对深度神经网络（DNN）的并行训练使用模型平均方法。多 GPU 数据并行化，MPI 进行节点间通信，每隔几个 minibatches 进行模型平均。针对不同的学习速度、平均频率和 minibatch 尺寸探索最佳设置，研究发现 “NG-SGD” 和 “RBM” 预训练有利于基于参数平均的模型训练，可以实现 9.3 倍和 17 倍的加速，只有少量解码精度的损失。

    Jul, 2015