hyperparameter tuning | BriefGPT

关键词hyperparameter tuning

搜索结果 - 135

用于粒子流重建的可扩展神经网络模型与万亿级数据集
研究了可扩展的机器学习模型，用于基于高粒度探测器模拟的高能电子 - 正电子碰撞的完全事件重建。比较了图神经网络和基于核的变压器，并证明两者在实现逼真的粒子流重建时，同时避免了二次内存分配和计算成本。展示了在超级计算机上进行的超参数调整显著改
PDF10 months ago
分布式机器学习资源上的混合算法选择和超参数调优：一种基于层次代理的方法
该研究论文提出了一种全自动、协作的基于代理机制的方法，用于选择分布式组织的机器学习算法并同时调整其超参数，以实现扩展性、灵活性和鲁棒性。通过理论评估、形式验证和分析研究，证明了该技术的正确性、资源利用和计算效率。在对 24 种算法和 9 个
PDF10 months ago
KDD走向语义图像分割中的可比较知识蒸馏
知识蒸馏可解决语义分割中的大型模型和慢速推理问题。研究中鉴定了 14 篇发表于近 4 年的 25 种蒸馏损失项。通过对 2022 年两篇论文的比较，揭示了超参数选择不当导致学生模型性能极端差异的问题。为了提高该领域的未来研究可比性，建立了三
PDF10 months ago
基于 Mask-RCNN 的孟加拉文档布局分析性能增强
理解数字化文档就像解谜游戏，特别是历史文档。文档布局分析（DLA）通过将文档划分为段落、图像和表格等部分来解决这个谜题，这对机器读取和理解这些文档至关重要。本研究针对理解孟加拉语文档进行了工作，使用了一个名为 BaDLAD 的数据集，并使用
PDFa year ago
FedPop：联邦式基于人口的超参数调优
本文介绍一种名为 FedPop 的新型超参数调整算法，采用基于种群的进化算法来优化分布式机器学习模式中的超参数，从而提高计算效率并探索更广泛的超参数搜索空间。在常见的联邦学习基准和复杂真实世界的联邦学习数据集上进行的实证验证表明，该方法有效
PDFa year ago
在 QUBO 实例上评估自适应变分量子算法
近年来，变分量子算法（VQAs）作为在 NISQ 时代解决量子计算机上的优化问题的一种有前途的方法已经出现。然而，VQAs 的一个限制是它们对于特定问题或硬件配置可能不适合的固定结构电路。应对这个问题的一种主要策略是自适应 VQAs，通过添
PDFa year ago
基于机器学习的基于日志的异常检测的实证研究
对传统机器学习和深度学习技术在日志分析和异常检测中的评估进行了全面的实证研究，结果表明传统机器学习技术和深度学习技术在检测准确性和预测时间方面非常接近，而传统机器学习技术对超参数调整的敏感性较深度学习技术要低。此外，半监督技术的检测准确性明
PDFa year ago
使用超网络快速的无监督深度异常模型选择
利用深度神经网络的异常检测模型，通过设计和训练一个新型的超网络，将超参数映射到主要的异常检测模型的最优权重，从而提高效率并实现高性能。
PDFa year ago
超参数调整手册：适用于 scikit-learn，PyTorch，river 和 spotPython 的指南
本文介绍了使用 spotPython 进行超参数调整的全面指南，包括 scikit-learn、PyTorch 和 river 的应用。通过案例研究，作者展示了对 sklearn 模型（如支持向量分类、随机森林、梯度提升（XGB）和 K 最
PDFa year ago
从扩散到混淆：基于扩散模型的自然敌对图案生成用于目标检测
提出一种基于扩散模型的新型自然对抗贴片生成方法，通过从模型中预训练的自然图片中抽样生成高质量的自然对抗贴片，达到了更好的质量和更自然的对抗贴片的生成效果。
PDFa year ago
SigOpt Mulch: 基于梯度提升树的自动机器学习智能系统
SigOpt Mulch 是一种旨在自动调整 GBTs 超参数的、具有模型感知能力的超参数调优系统，通过元学习和多保真度优化等技术实现模型感知型超参数的优化，减少了用户领域知识的需求，从而比现有黑盒超参数调优系统更高效、更无缝、更用户友好地
PDFa year ago
提高信心，降低失望：用于稀疏回归的新跨验证方法
提出了一种通过引入置信度修正的变化来减少交叉验证过程中的过度期望风险，及从混合整数规划中获得可计算的放松，从而最小化 leave-one-out 误差的方法，能够比现有方法更快地得到更少误差的结果。
PDFa year ago
带自适应调参客户端的联邦学习
提出了一种名为 Delta-SGD 的算法用于优化联邦学习模型中的超参数，该算法能够在各个客户端之间自适应优化不同的参数，实验结果表明，该算法可以在不需要额外调整的情况下，在 73% 的实验中达到 TOP-1 准确度，在 100% 的实验中
PDFa year ago
基于图像的动作预测的检索运动的精炼扩散去噪 - R2-Diff
本文提出了一种名为 R2-Diff 的基于图像的运动预测方法，其中运动数据是从数据集中检索出的，通过调整模型超参数进行细化，并通过基于图像特征的检索方式来检索最近邻居运动。实验结果表明，R2-Diff 可以精确地预测适当的运动并在机器人操作
PDFa year ago
随着规模变化调整：用于计算效率训练的超参数优化
本文提出了一种名为 “CARBS” 的贝叶斯优化算法，通过在性能成本 Pareto 前沿周围进行本地搜索，解决了大规模深度学习模型参数调优的难题，并自动化了调优的 “黑魔法”，可以适用于任何深度学习问题，并发现了发现各种超参数的标度律，使得
PDFa year ago
上下文马尔可夫决策过程中的策略梯度方法步长学习
本文提出一种基于元强化学习的新框架 meta-MDP，用于解决强化学习中精细的特定超参数选取问题，通过动态推荐不同策略和任务的步长，实现了在异构环境下选择自适应学习率的优势。
PDFa year ago
神经网络训练算法基准测试
本文提出了一个新的竞争性算法基准测试，AlgoPerf：训练算法基准测试，在多个工作负载上运行固定的硬件，解决了评估训练算法改进的三个基本挑战，包括如何确定训练何时结束和精确测量训练时间，如何处理测量对确切工作负载细节的敏感性，以及如何公平
PDFa year ago
方阻交叉验证：一种精确高效的超参数调优方法
本文介绍了一种名为 Blocked Cross-validation（BCV）的新方法，在超参数调整方面比传统的 Repeated Cross-validation（RCV）提供更精确的错误估计，即使运行的数量显著减少，也能实现更高的准确度
PDFa year ago
方差稳定密度估计的异常检测
通过将正常样本的密度函数假设为在某些紧凑区域内是均匀的，减小方差放宽了对于特定数据的超参数调节要求，提出了基于改进密度估计的异常检测方案，并设计了一个方差稳定的密度估计问题，然后使用自回归模型学习了方差稳定分布，最后在 52 个数据集的广泛
PDFa year ago
小批量处理对二阶优化器的泛化性能有所改善
深度神经网络的训练对计算资源消耗较大，为了提高性能，机器学习科学家通常使用随机一阶及二阶优化方法，通过经验研究发现，训练中的批大小对方法的最大准确率有显著影响，并且二阶优化方法在特定批大小下表现出更低的方差，可能需要更少的超参数调整，从而减
PDFa year ago