bias-variance tradeoff | BriefGPT

关键词bias-variance tradeoff

搜索结果 - 11

差分隐私中的实例特定异质敏感度
我们提供了一个新的算法框架，用于差分隐私估计一般函数，该框架根据底层数据集的难度进行动态调整。我们构建在先前的工作基础上，通过接近逆过程的数据集，即称为逆敏感性机制的指数机制选择一个输出的范例。我们的框架稍微修改了接近度度量，并提供了稀疏向
PDF8 months ago
现代深度学习中为什么我们需要权重衰减？
从 ResNets 到 LLMs 的统一视角，权重衰减不是一个显式正则化器，而是以期望的方式改变训练动态。
PDF9 months ago
ApproBiVT: 使用近似的偏差 - 方差折衷指导早停和检查点平均的先导 ASR 模型更好地泛化
在这篇论文中，我们从偏差和方差的权衡角度重新考虑并更新了早停和检查点平均值的方法，使用训练损失和验证损失作为偏差和方差的近似代理，并在高级 ASR 模型上验证时，我们的方法在 AISHELL-1 和 AISHELL-2 上分别降低了 2.5
PDFa year ago
随机变量的最大值的预期验证性能和估计
本文分析了预期验证性能的三个统计估计方法在计算预算方面的效果，并在合成和现实情况下对三个估计器进行评估。其中，无偏估计器具有最高方差，方差最小的估计器具有最大的偏差；最小均方误差的估计器在偏差和方差之间取得了平衡，呈现出经典的偏差 - 方差
PDF3 years ago
ICLR基于偏差方差平衡的知识蒸馏软标签优化思考
本文研究了软标签蒸馏对偏差 - 方差平衡的影响，发现软标签的训练在样本层面上影响偏差 - 方差的平衡，并提出了加权软标签方法以适应样本层面的偏差 - 方差平衡，实验证明该方法有效。
PDF3 years ago
预处理何时有助于或损害泛化能力？
此研究探讨一些最优化方法（包括用于神经网络的一阶梯度下降和二阶自然梯度下降）的隐式偏差如何影响其泛化性能，并提出了管理偏差方差的几种方法及在回归问题中的应用。
PDF4 years ago
线性回归中更多的数据可能会产生负面效果：样本逐步双峰曲线
在高参数化线性回归领域中，出现了一个令人惊讶的现象，即当样本数少于特征维数时，测试误差会随着样本增加而增加，即更多的数据反而会伤害估计器。该现象是近期理论研究分析线性模型中 “双下降” 现象的一部分。在本文中，我们以线性回归为预测模型，通过
PDF5 years ago
神经网络中偏差 - 方差平衡的现代看法
研究神经网络中模型复杂度、测试误差曲线、参数数量等因素对偏差 - 方差权衡的影响，证实其与传统理论不同，可以通过增大参数数量来降低偏差和方差。
PDF6 years ago
IJCAI谱修剪：通过谱分析压缩深度神经网络及其广义误差
为了高效执行边缘计算设备上的深度学习系统，我们提出了一种新的理论框架来模型压缩并提出了一种称为 “谱剪枝” 的新的修剪方法。我们通过使用协方差矩阵在内部节点上的特征值分布来量化模型的内在维度，并表明压缩能力本质上由此控制。此外，我们提供了压
PDF6 years ago
图拉普拉斯正则化器的偏差方差平衡
本文提供一种有偏差方差权衡的图拉普拉斯正则化方法，该方法广泛应用于图信号处理和半监督学习任务。在分析中，将最优正则化参数的尺度定于谱图属性和信噪比参数，并应用于三种应用（包括随机信号、带限信号和多样本图信号）。通过实验验证了所建立分析的接近
PDF7 years ago
k*- 最近邻居：从全局到局部
本文提出了一种简单的，能够使权重最优化的局部加权回归 / 分类方法，并能够为需要估计值的每个数据点高效地找到权重和最优化的邻居数量，从而在多个数据集上展示了比标准局部加权方法更优异的性能表现。
PDF7 years ago