Jun, 2023

使用样本外和重采样策略调整结构学习算法

PDF
TL;DR本文提出一种名为 Out-of-sample Tuning for Structure Learning (OTSL) 的新型超参数调整方法，该方法使用样本外估计和重抽样策略来估计给定输入数据集和结构学习算法的最优超参数配置，并通过实验和实际数据集表明，使用 OTSL 调整混合和基于分数的结构学习算法的超参数可以提高图形准确性。
structure learning algorithmshyperparametersotslresampling strategiesgraphical accuracy
发现论文，激发创造
  • 因果结构学习算法对超参数选择的稳健性

    该研究论文探讨了超参数对因果结构学习任务的影响，并对不同复杂度的数据集上的一些经典学习算法的超参数选择进行了实证评估。研究发现，在集成设置下，超参数选择强烈影响算法的选择，选择不当的超参数可能导致分析人员使用无法为其数据提供最先进性能的算法。

    Oct, 2023

  • 构建数学结构以实现学习优化

    本文提出了一种基于数学原理的 L2O 模型，通过数值模拟验证了该模型的理论发现并展示了其超越普通 L2O 模型的优越性。

    May, 2023

  • 层次协作超参数调整

    本文演示了如何利用多智能体系统开发一个分布式技术，用于确定任意集合的超参数的近似最优值，并在机器学习和全局函数优化应用中进行了研究。研究表明，在更高的维度下，所提出的模型在分类误差和函数评估方面都优于其底层随机调优策略。

    May, 2022

  • 机器学习算法的超参数调整重要性

    本研究从统计学角度 formalize 了超参数调整问题，提出了基于数据的默认值和量化超参数可调性的一般性措施，并在 OpenML 平台上基于 38 个数据集和 6 个常见机器学习算法进行了大规模基准测试。我们的研究结果提供了超参数默认值，并使用户能够决定是否值得进行耗时的调整策略，专注于最重要的超参数并选择合适的超参数空间进行调整。

    Feb, 2018

  • 通过 L1-L2 优化实现结构化模型选择

    该研究提出了一种学习方法，通过稀疏最小二乘拟合和非凸 l1-l2 稀疏优化解决器来鉴定结构动力系统，该方法基于科学工程中的自动模型选择应用，研究了少样本和噪声空时数据的识别问题。

    May, 2023

  • 超参数自适应搜索用于代理优化的一种自调整方法

    对于优化昂贵的黑盒函数，代理优化算法表现出了一定的潜力。然而，与采样和代理适配相关的超参数对其性能产生了很大影响，这给普及它们带来了挑战。我们研究了超参数对各种代理优化算法的影响，并提出了一种名为 Hyperparameter Adaptive Search for SO（HASSO）的方法。HASSO 不是一个超参数调整算法，而是一种通用的自适应代理优化算法，通过动态调整自己的超参数同时优化主要目标函数，而无需额外的评估。目标是提高代理优化算法对实践者的可访问性、效果和收敛速度。我们的方法确定并修改了每个问题和代理方法相关的最有影响力的超参数，减少了手动调整的需要，同时不显著增加计算负担。实验结果证明了 HASSO 在加强各种代理优化算法在不同全局优化测试问题上的性能方面的有效性。

    Oct, 2023

  • 无监督深度图结构学习

    本论文提出了一种实用的无监督图结构学习（GSL）范式，使用自我监督对比学习辅助产生 “锚图” 目标，采用新型自举机制升级锚图并设计多种图学习器和后处理方案，取得了显著有效性和优化图的高质量。

    Jan, 2022

  • 迭代学习的贝叶斯优化

    本文提出了一种基于贝叶斯优化的方法，该方法可以利用学习算法的迭代结构来有效地调整超参数。在深度强化学习和卷积神经网络训练中，我们的算法通过选择最佳超参数的方式，以最小时间成本实现了调优。

    Sep, 2019

  • 机器学习算法的实用贝叶斯优化

    本研究基于贝叶斯优化框架，建立高斯过程模型，通过前期实验获得的信息来优化机器学习算法的超参数调整，作者提出可以超过经验人类调参表现的自动算法，并介绍收集实验信息、利用多核心并行实验等新算法。

    Jun, 2012

  • 大规模结构化支持向量机的双重坐标解算器

    介绍了一种基于 MATLAB 的求解器，可训练能够处理大规模数据集的支持向量机，并探讨了一种解决数据过大无法全部存储的情景下的优化算法，该方法不仅稳定性与批量算法相当，而且能够处理超出内存范围的数据集。

    Dec, 2013