ACLNov, 2021

用随机加权平均方法测试 ALBERT 的情感分析任务鲁棒性

PDF
TL;DR本研究研究了模型的鲁棒性，特别是在情绪分析任务上的鲁棒性，通过研究 ALBERT 与 SWA 的结合来分析 SWA 的稳定性，通过 CheckList 准则量化稳定性，发现 SWA 不仅可以降低错误率，还可以集成模型贯穿梯度下降轨迹的快照来提高稳定性。
language modelsalbertstochastic weight averagingsentiment analysischecklist criteria
发现论文，激发创造
  • 自适应随机加权平均

    提出了自适应随机权重平均（ASWA）技术，该技术结合了随机权重平均（SWA）和提前停止技术，仅在验证数据集上提高泛化性能时更新模型参数的运行平均值。对于图像分类到知识图谱上的多跳推理等广泛实验中，结果表明 ASWA 在模型和数据集上都能实现统计上更好的泛化。

    Jun, 2024

  • 大规模语言模型的贝叶斯低秩自适应的高斯随机权重平均化

    基于小数据集的精调大型语言模型常常存在过度自信和校准不佳的问题，为了解决这些挑战，我们提出了低秩自适应和高斯随机权重平均的简单结合，促进了大型语言模型中的近似贝叶斯推断。通过在多个自然语言处理基准测试中进行广泛测试，我们证明了我们简单而高效的方法能够提高模型的泛化能力和校准性。我们进一步展示了我们的方法在分布变化方面表现出更强的鲁棒性，这体现在其在未知分布任务上的表现。

    May, 2024

  • 平均权重导致更宽的随机局部极小值和更好的泛化

    通过在 SGD 轨迹上抽样多个点进行简单平均，Stochastic Weight Averaging（SWA）过程实现了比传统训练更好的泛化，SWA 获得了 CIFAR-10、CIFAR-100 和 ImageNet 上多个最先进网络的显着测试精度提高，而且 SWA 实现简单、无几乎不需要计算成本。

    Mar, 2018

  • 带有随机权重平均的不确定性感知自然语言推理

    这篇论文介绍了在自然语言理解（NLU）任务中使用随机重量平均 - 高斯（SWAG）进行贝叶斯不确定性建模的方法，并将其应用于标准的自然语言推理（NLI）任务中，证明该方法以预测准确度和与人类注释不一致性相关性等方面的有效性。我们认为，SWAG 中的不确定性表示更好地反映了主观解释和人类语言理解中存在的自然变化。结果揭示了不确定性建模在 NLU 任务中的重要性，这是神经语言建模经常忽略的方面。

    Apr, 2023

  • 无标签数据有多种一致的解释：为什么您应该平均

    研究了半监督学习中的一种基于一致性正则化的方法，提出使用随机权重平均和快速随机权重平均来加速模型的训练，达到了最先进的结果

    Jun, 2018

  • 深度学习中贝叶斯不确定性的简单基准线

    SWA-Gaussian 是一种用于深度学习中的不确定性表示和校准的简单、可伸缩和通用方法，它利用随机加权平均（Stochastic Weight Averaging，SWA）和高斯分布来进行贝叶斯模型平均，具有较好的拟合效果和性能。

    Feb, 2019

  • 随机种子对于模型稳定性的影响

    本文旨在通过调查感知随机性对模型性能和鲁棒性的影响，将模型稳定性量化为随机种子的函数。我们特别研究了随机种子对注意力、基于梯度和替代模型的（LIME）解释行为的影响。我们提出了一种名为 ASWA（Aggressive Stochastic Weight Averaging）的技术及其扩展版本 NASWA（Norm-filtered Aggressive Stochastic Weight Averaging），以提高对种子的模型稳定性。通过我们基于 ASWA 和 NASWA 的优化，我们能够提高原始模型的鲁棒性，平均缩减模型性能的标准差 72％。

    Sep, 2019

  • 通过随机权重平均改进预训练语言模型的泛化能力

    本文提出了一种基于 Stochastic Weight Averaging 的优化方法，用于改善预训练语言模型在 NLP 任务中的泛化能力，而无需额外计算成本，并展示了其在不同模型架构和任务中的出色表现。

    Dec, 2022

  • WASH：使用通信高效的权重重排，然后平均训练你的集成模型

    WASH 是一种新的分布式方法，用于训练模型集合以进行权重平均化，实现了最先进的图像分类准确性。

    May, 2024

  • 通过平滑加权集合提高认证的鲁棒性

    本文提出了一种利用加权平滑的集成学习（SWEEN）方案来提高随机平均分类器的性能，并证明了 SWEEN 模型不仅能够帮助实现最佳认证鲁棒性，还能通过有效的训练来获得最优性能，同时提出了一种自适应预测算法来减少对模型预测和认证的成本，并通过实验证明 SWEEN 模型的性能显着优于候选模型集的上限，采用少量小模型构建的 SWEEN 模型可在可接受的时间内达到与单个大模型相当的性能。

    May, 2020