Sep, 2019

随机种子对于模型稳定性的影响

PDF
TL;DR本文旨在通过调查感知随机性对模型性能和鲁棒性的影响，将模型稳定性量化为随机种子的函数。我们特别研究了随机种子对注意力、基于梯度和替代模型的（LIME）解释行为的影响。我们提出了一种名为 ASWA（Aggressive Stochastic Weight Averaging）的技术及其扩展版本 NASWA（Norm-filtered Aggressive Stochastic Weight Averaging），以提高对种子的模型稳定性。通过我们基于 ASWA 和 NASWA 的优化，我们能够提高原始模型的鲁棒性，平均缩减模型性能的标准差 72％。
model stabilityrandom seedinterpretationsaggressive stochastic weight averagingoptimization
发现论文，激发创造
  • 自适应随机加权平均

    提出了自适应随机权重平均（ASWA）技术，该技术结合了随机权重平均（SWA）和提前停止技术，仅在验证数据集上提高泛化性能时更新模型参数的运行平均值。对于图像分类到知识图谱上的多跳推理等广泛实验中，结果表明 ASWA 在模型和数据集上都能实现统计上更好的泛化。

    Jun, 2024

  • 我们需要谈论随机种子

    该论文分析了现代神经网络库中随机种子的使用，论述了其安全和危险的用法，并通过对 ACL 文献集的分析发现，超过 50％的论文使用了随机种子的危险用法。

    Oct, 2022

  • 使用鲁棒非参数统计方法测量模型变异性

    深度神经网络的训练通常涉及随机优化，种子的选择对于训练模型的质量至关重要，本文通过鲁棒的假设检验提出了一个新的网络相似性的统计量，利用该统计量来指导随机种子的选择，同时展示了该统计量在实验中的价值和在迁移学习中调优相比随机种子选取的优势。

    Jun, 2024

  • 精调不稳定性的度量

    研究预训练语言模型在下游任务中使用不同的随机种子进行微调的不稳定性，并提出了更具有广泛性和有效性的稳定性的评价方法。

    Feb, 2023

  • 用随机加权平均方法测试 ALBERT 的情感分析任务鲁棒性

    本研究研究了模型的鲁棒性，特别是在情绪分析任务上的鲁棒性，通过研究 ALBERT 与 SWA 的结合来分析 SWA 的稳定性，通过 CheckList 准则量化稳定性，发现 SWA 不仅可以降低错误率，还可以集成模型贯穿梯度下降轨迹的快照来提高稳定性。

    Nov, 2021

  • 关于随机种子对临床分类器公平性的影响

    本研究探究了深度学习模型训练中随机种子变化对模型公平性的影响，并使用 MIMIC-III 的临床预测任务验证了该现象，结果显示小样本和随机性可能导致结果的表面差异，同时同时优化高性能和低差异性并不能显著提高模型性能。

    Apr, 2021

  • 从大树到种子：在均匀附着模型中推断种子

    研究随机树在均匀附加模型下的种子影响，发现不同的种子导致不同的极限树分布，并构建统计量来测量全局 “平衡” 属性。

    Sep, 2014

  • 大规模语言模型的贝叶斯低秩自适应的高斯随机权重平均化

    基于小数据集的精调大型语言模型常常存在过度自信和校准不佳的问题，为了解决这些挑战，我们提出了低秩自适应和高斯随机权重平均的简单结合，促进了大型语言模型中的近似贝叶斯推断。通过在多个自然语言处理基准测试中进行广泛测试，我们证明了我们简单而高效的方法能够提高模型的泛化能力和校准性。我们进一步展示了我们的方法在分布变化方面表现出更强的鲁棒性，这体现在其在未知分布任务上的表现。

    May, 2024

  • 深度强化学习实验中多少随机种子？统计功率分析

    深度强化学习实验结果的统计显著性检验是应对所谓的 "再现性危机" 的方法之一。本文介绍了随机种子数量与统计误差概率的关系，并提出确定随机种子数量的理论准则，最后讨论了统计检验通常假设的偏差对评估统计误差的影响，并提供应对这些负面影响的指导方针。

    Jun, 2018

  • 有限标记数据的学习稳定性及随机性影响的系统文献综述

    通过综述 134 篇研究文献，我们全面概述了有限标记数据学习过程中随机性对稳定性的影响，探究、确定、缓解、比较及报告该随机性影响的四个主要任务，并提出七个挑战与未解决问题，以及进一步研究的可能方向。本综述旨在强调这个发展中的研究领域的重要性，目前还未得到应有的关注。

    Dec, 2023