early stopping | BriefGPT - AI 论文速递

关键词early stopping

搜索结果 - 32

SIGIR基于查询级别的增强学习排名集成早期结束
本文探讨了一种新的问题 —— 查询级别早期退出，旨在决定提前停止计算排名集合的收益性。实验结果表明，查询级别早期退出可以显著提高排名质量，并提高排名速度。
PDF4 years ago
对抗鲁棒深度学习中的过拟合问题
研究深度学习领域中常用的过参数化网络和尽可能训练的现象，发现对于对抗训练的深度网络来说过拟合确实会对其稳健性产生很大的负面影响，因此建议使用提前停止等方法来取得相似的性能提升。
PDF4 years ago
早停法如何帮助应对标签噪声的泛化问题？
该论文提出了一种叫做 Prestopping 的新的两个阶段的训练方法，它能够在任何类型的噪声标签下实现无噪声训练，并且通过对四个图像基准数据集的广泛实验证明，在真实世界噪声的存在下，我们的方法的测试效果比四种最先进的方法提高了 0.4-8
PDF5 years ago
蒸馏 ≈ 提前停止？利用各向异性信息检索收获深度知识对超参数化的神经网络
本文提出了一种新的理论来解释为什么 depth distillation 的标准实践阻碍了深度神经网络的学习，并提出了一种名为 “self-distillation” 的方法，以在先前的训练时期中从网络中分步提取知识，以避免记忆错误标签，最
PDF5 years ago
DARTS+：具有提前停止的改进可微架构搜索
本文提出了一种名为 DARTS + 的算法，通过设置一个明确的早停策略来避免 Differentiable Architecture Search (DARTS) 在优化时遇到过拟合问题，并将其应用在基准数据集上取得了较好的结果。
PDF5 years ago
EMNLP低资源自然语言处理中的实践方法：开发集
本文研究利用发展集进行早期停止与仅基于发展语言调整训练时长的两种低资源自然语言处理方法，其对于模型性能的影响，结果表明实验设置的合理性对于准确性有着至关重要的作用。
PDF5 years ago
极化码盲检测方案的设计和实现
本文提出一种针对极化码的盲检测方案，其中用户 ID 被传输替代了某些已冻结的比特。第一阶段的粗略解码可以帮助选择一个更小的子集，然后使用更强大的算法进行解码。通过引入早停准则，实现少量系统资源的同时，实现了低的漏检率和误警率以及显著的延迟优
PDF6 years ago
NIPS核提升算法的早停策略：带局部复杂度的普适分析
本文针对一类损失函数和梯度提升算法，展示了停止迭代估计器的性能与相关函数类的本地高斯复杂度之间的直接联系，并证明了高斯或 Rademacher 复杂性的本地不动点分析可以用于推导最佳停止规则，为各种核类别推导了这种停止规则，并说明了我们理论
PDF7 years ago
利用性能预测加速神经架构搜索
本文提出了一种利用标准频率回归模型通过网络架构、超参数和时间序列验证性能数据来预测部分训练模型配置的最终性能的方法，并证明该方法在视觉分类和语言建模领域中是有效的。同时，我们提出了一种早期停止方法，可用于超参数优化和元模建模，加速了模型配置
PDF7 years ago
无需验证集的早停算法
本文提出了一种新的基于局部统计梯度的早期停止准则，该准则完全消除了验证集的需要，并在最小二乘法、逻辑回归和神经网络的情况下被证明是一种可行的方法。
PDF7 years ago
NYTRO: 当子采样遇到早停
本研究旨在探讨早停止和随机子抽样方法在最小二乘回归设置中的结合，提出了一种基于早停止和随机子抽样的随机迭代正则化形式，并分析了其统计和计算性质。
PDF9 years ago
早停和非参数回归：一种最优的数据依赖性停止规则
本文针对非参数回归问题中的一种梯度下降算法，提出了一种基于数据的提前停止策略，不需要保留数据或交叉验证，同时证明了该策略有较好的性能表现，可应用于 Sobolev 平滑性类等多种核函数类中。此外，本文还展现了该策略与核岭回归估计器的解路径之
PDF11 years ago