Jun, 2024

使用鲁棒非参数统计方法测量模型变异性

PDF
TL;DR深度神经网络的训练通常涉及随机优化，种子的选择对于训练模型的质量至关重要，本文通过鲁棒的假设检验提出了一个新的网络相似性的统计量，利用该统计量来指导随机种子的选择，同时展示了该统计量在实验中的价值和在迁移学习中调优相比随机种子选取的优势。
deep neural networkrandom seedmodel qualitysummary statisticensemble model
发现论文，激发创造
  • 训练神经网络中的变异性鲁棒非参数假设检验

    基于网络输出的一个稳健假设检验框架，我们提出了一种新的分类模型之间的相似性度量方法，该方法可以适应经过训练模型的其他衍生量。

    Oct, 2023

  • 深度强化学习实验中多少随机种子？统计功率分析

    深度强化学习实验结果的统计显著性检验是应对所谓的 "再现性危机" 的方法之一。本文介绍了随机种子数量与统计误差概率的关系，并提出确定随机种子数量的理论准则，最后讨论了统计检验通常假设的偏差对评估统计误差的影响，并提供应对这些负面影响的指导方针。

    Jun, 2018

  • 我们需要谈论随机种子

    该论文分析了现代神经网络库中随机种子的使用，论述了其安全和危险的用法，并通过对 ACL 文献集的分析发现，超过 50％的论文使用了随机种子的危险用法。

    Oct, 2022

  • 微调预训练语言模型：权重初始化，数据排序和早期停止

    该研究通过对 GLUE 基准测试中的四个数据集进行 BERT 的微调，发现同样参数下，不同的随机种子会导致非常不同的结果表现，并且在权重初始化和训练数据排序的两个方面探究其对结果的影响。此外，该研究对微调方法的实现提出了最佳实践，并公开其所有实验数据以供更深入的分析。

    Feb, 2020

  • 随机种子对于模型稳定性的影响

    本文旨在通过调查感知随机性对模型性能和鲁棒性的影响，将模型稳定性量化为随机种子的函数。我们特别研究了随机种子对注意力、基于梯度和替代模型的（LIME）解释行为的影响。我们提出了一种名为 ASWA（Aggressive Stochastic Weight Averaging）的技术及其扩展版本 NASWA（Norm-filtered Aggressive Stochastic Weight Averaging），以提高对种子的模型稳定性。通过我们基于 ASWA 和 NASWA 的优化，我们能够提高原始模型的鲁棒性，平均缩减模型性能的标准差 72％。

    Sep, 2019

  • 关于随机种子对临床分类器公平性的影响

    本研究探究了深度学习模型训练中随机种子变化对模型公平性的影响，并使用 MIMIC-III 的临床预测任务验证了该现象，结果显示小样本和随机性可能导致结果的表面差异，同时同时优化高性能和低差异性并不能显著提高模型性能。

    Apr, 2021

  • 稳健验证：即使分布发生偏移，也能自信地做出预测

    本文提出了一种建立在鲁棒性预测推断上的不确定性估计模型，使用 conformal inference 方法建立了准确覆盖测试数据分布的预测集，通过估计数据漂移量建立了鲁棒性，并在多个基准数据集上进行了实验证明了该方法的重要性。

    Aug, 2020

  • 机器学习基准测试中方差的考虑

    通过模拟对比机器学习算法的整个基准测试过程，我们发现数据采样、参数初始化和超参数选择对结果的影响显著。进一步分析今天所用的主要比较方法，我们提出一种反直觉的结果，即在不增加计算成本的情况下，将更多的变化源添加到不完美的估计器中可以接近更理想的估计器。通过五个不同的深度学习任务和架构，分析改进检测错误率，提出了性能比较的建议。

    Mar, 2021

  • 协调混乱：神经网络训练的运行差异是无害且不可避免的

    本文研究了神经网络训练过程中的表现差异性，找出了其来源，证明了其不可避免的存在性，并通过初步研究从各个方面探讨了训练初值、数据扩增和学习率等方面的影响。

    Apr, 2023

  • 报告评分分布很重要：LSTM 网络的序列标记性能研究

    本文探讨了单一性能评分不足以比较非确定性方法的问题，并通过对序列标记任务的实验表明，随机数种子的选择可以导致最先进系统的 F1 得分的绝对差异，提出通过多次执行比较分数分布的方法，通过五项序列标记任务的实验，提出了产生优越性能和更稳定的网络体系结构。

    Jul, 2017