深度神经网络的训练通常涉及随机优化，种子的选择对于训练模型的质量至关重要，本文通过鲁棒的假设检验提出了一个新的网络相似性的统计量，利用该统计量来指导随机种子的选择，同时展示了该统计量在实验中的价值和在迁移学习中调优相比随机种子选取的优势。

Jun, 2024

深度强化学习实验结果的统计显著性检验是应对所谓的 "再现性危机" 的方法之一。本文介绍了随机种子数量与统计误差概率的关系，并提出确定随机种子数量的理论准则，最后讨论了统计检验通常假设的偏差对评估统计误差的影响，并提供应对这些负面影响的指导方针。

Jun, 2018

本文旨在通过调查感知随机性对模型性能和鲁棒性的影响，将模型稳定性量化为随机种子的函数。我们特别研究了随机种子对注意力、基于梯度和替代模型的（LIME）解释行为的影响。我们提出了一种名为 ASWA（Aggressive Stochastic Weight Averaging）的技术及其扩展版本 NASWA（Norm-filtered Aggressive Stochastic Weight Averaging），以提高对种子的模型稳定性。通过我们基于 ASWA 和 NASWA 的优化，我们能够提高原始模型的鲁棒性，平均缩减模型性能的标准差 72％。

Sep, 2019

本研究探究了深度学习模型训练中随机种子变化对模型公平性的影响，并使用 MIMIC-III 的临床预测任务验证了该现象，结果显示小样本和随机性可能导致结果的表面差异，同时同时优化高性能和低差异性并不能显著提高模型性能。

Apr, 2021

该研究通过对 GLUE 基准测试中的四个数据集进行 BERT 的微调，发现同样参数下，不同的随机种子会导致非常不同的结果表现，并且在权重初始化和训练数据排序的两个方面探究其对结果的影响。此外，该研究对微调方法的实现提出了最佳实践，并公开其所有实验数据以供更深入的分析。

Feb, 2020

本文研究了在计算机视觉中使用流行的深度学习结构时，随机种子选择对准确性的影响。作者在 CIFAR 10 上扫描了大量种子（多达 $10^4$），并在 Imagenet 上使用预训练模型扫描了较少的种子，结论是即使方差不是很大，仍然很容易找到表现比平均水平要好或差得多的离群值。

Sep, 2021

本文通过对文献进行再现性研究，旨在评估种子词汇的建立是否需要经过彻底的检查，以避免其自身的偏见对测量结果产生负面影响，结果与原文大致相似。

Jun, 2022

本文介绍了一种基于随机搜索和超参数优化的神经架构搜索方法，并探讨了该领域中已有的研究成果的可重复性问题。研究结果表明，该方法在两个标准的 NAS 基准测试中表现出色，并且可以复现。

Feb, 2019

本研究调查了各种随机化技术对深度神经网络 (DNNs) 的影响，发现添加噪音和随机掩码梯度更新等随机化方法有助于减少过拟合和增强泛化能力。使用粒子群优化器 (PSO) 进行超参数优化，对 MNIST、FASHION-MNIST、CIFAR10 和 CIFAR100 数据集的超过 30,000 个配置进行评估，结果显示数据增强和权重初始化的随机性是主要的性能因素。相关性分析表明不同的优化器偏好不同的随机化类型。GitHub 上提供了完整的实现和数据集。

Apr, 2024

我们对随机种子在扩散推断期间的影响进行了大规模的科学研究，并发现种子对生成的图像具有显著影响。我们进一步研究了种子对可解释的视觉维度的影响，并展示了通过使用这些优质的种子进行改进的图像生成，例如高保真推断和多样化采样。本研究突出了选择良好的种子的重要性，并为图像生成提供了实际效用。

May, 2024