Sep, 2021

随机种子在计算机视觉深度学习架构中的影响 ——Torch.manual_seed (3407) 就是您所需要的全部

PDF
TL;DR本文研究了在计算机视觉中使用流行的深度学习结构时，随机种子选择对准确性的影响。作者在 CIFAR 10 上扫描了大量种子（多达 $10^4$），并在 Imagenet 上使用预训练模型扫描了较少的种子，结论是即使方差不是很大，仍然很容易找到表现比平均水平要好或差得多的离群值。
random seed selectiondeep learning architecturescomputer visioncifar 10imagenet
发现论文，激发创造
  • 优秀的种子造就丰收：在文本 - 图像扩散模型中发现秘密种子

    我们对随机种子在扩散推断期间的影响进行了大规模的科学研究，并发现种子对生成的图像具有显著影响。我们进一步研究了种子对可解释的视觉维度的影响，并展示了通过使用这些优质的种子进行改进的图像生成，例如高保真推断和多样化采样。本研究突出了选择良好的种子的重要性，并为图像生成提供了实际效用。

    May, 2024

  • 关于随机种子对临床分类器公平性的影响

    本研究探究了深度学习模型训练中随机种子变化对模型公平性的影响，并使用 MIMIC-III 的临床预测任务验证了该现象，结果显示小样本和随机性可能导致结果的表面差异，同时同时优化高性能和低差异性并不能显著提高模型性能。

    Apr, 2021

  • 我们需要谈论随机种子

    该论文分析了现代神经网络库中随机种子的使用，论述了其安全和危险的用法，并通过对 ACL 文献集的分析发现，超过 50％的论文使用了随机种子的危险用法。

    Oct, 2022

  • 深度强化学习实验中多少随机种子？统计功率分析

    深度强化学习实验结果的统计显著性检验是应对所谓的 "再现性危机" 的方法之一。本文介绍了随机种子数量与统计误差概率的关系，并提出确定随机种子数量的理论准则，最后讨论了统计检验通常假设的偏差对评估统计误差的影响，并提供应对这些负面影响的指导方针。

    Jun, 2018

  • 从何处开始：带种子选择的文本图像生成

    研究了长尾训练数据对于文本到图像模型的影响，并提出了 SeedSelect 技术，通过在噪声空间中选择适当的初始种子，可以有效地生成罕见的图像概念，提高了模型效果，特别是在手部图像生成方面的表现得到了明显改善。

    Apr, 2023

  • 使用鲁棒非参数统计方法测量模型变异性

    深度神经网络的训练通常涉及随机优化，种子的选择对于训练模型的质量至关重要，本文通过鲁棒的假设检验提出了一个新的网络相似性的统计量，利用该统计量来指导随机种子的选择，同时展示了该统计量在实验中的价值和在迁移学习中调优相比随机种子选取的优势。

    Jun, 2024

  • 微调预训练语言模型：权重初始化，数据排序和早期停止

    该研究通过对 GLUE 基准测试中的四个数据集进行 BERT 的微调，发现同样参数下，不同的随机种子会导致非常不同的结果表现，并且在权重初始化和训练数据排序的两个方面探究其对结果的影响。此外，该研究对微调方法的实现提出了最佳实践，并公开其所有实验数据以供更深入的分析。

    Feb, 2020

  • 卷积神经网络的数据相关初始化

    该研究提出了一种快速、简单的数据依赖初始化过程，可避免幻灭或爆炸梯度，并能够与当前领先的无监督或自监督预训练方法相匹配，同时比前人的方法快大约三个数量级，当与预训练方法结合时，可以显著优于先前的工作，在监督和无监督预训练之间缩小差距。

    Nov, 2015

  • 机器学习基准测试中方差的考虑

    通过模拟对比机器学习算法的整个基准测试过程，我们发现数据采样、参数初始化和超参数选择对结果的影响显著。进一步分析今天所用的主要比较方法，我们提出一种反直觉的结果，即在不增加计算成本的情况下，将更多的变化源添加到不完美的估计器中可以接近更理想的估计器。通过五个不同的深度学习任务和架构，分析改进检测错误率，提出了性能比较的建议。

    Mar, 2021

  • CIFAR-10 分类器是否适用于 CIFAR-10 数据集？

    通过创建一个真正未见过的测试集，测量 CIFAR-10 分类器的准确性，该研究发现现有的深度学习模型的准确性在面对轻微的数据分布自然变化时有较大降幅，说明现有准确性数据易受数据分布的影响。

    Jun, 2018