BriefGPT.xyz
Ask
alpha
关键词
epsilon
搜索结果 - 3
16 位神经网络训练中减缓反向传播数值不稳定性的高效方法
在这项研究中,我们深入研究了机器学习模型在 16 位计算中出现的数值不稳定性,特别是在使用 RMSProp 和 Adam 等常见优化算法时。我们确定单一超参数 epsilon 是导致这种数值不稳定性的主要原因。通过对 16 位计算中这些优化
→
PDF
a year ago
使用输出特定和数据解析隐私配置文件探究 ML 模型的数据集级隐私转变
本文研究了衡量数据集上 DP 机制对模型隐私保护的能力的新指标 - 隐私覆盖度,并提出了使用该指标排名训练集中样本隐私的方法,进而使用观察到的邻域分布的不可区分性转换来选择 epsilon 值。
PDF
a year ago
轻量化且准确:通过两个常数共享权重初始化的神经架构搜索
该研究提出了一种与训练集准确度高度相关的零成本度量标准 epsilon,使用零成本代理来加速神经架构搜索,省去了计算负载和梯度计算、标签、损失度量等依赖于人工标注数据的环节。
PDF
a year ago
Prev
Next