高维参数空间的可视化与优化技术
HyperMapper 2.0 is a new methodology and software framework that handles multi-objective optimization, unknown feasibility constraints, and categorical/ordinal variables for computer systems design, achieving better Pareto fronts and improved sampling for hardware accelerators.
Oct, 2018
本研究提出了一个有效且强健的自动调参框架,用于在大型数据集和任意性能指标下进行降维算法的超参数选择,利用贝叶斯优化和代理模型,该方法使得超参数选择具有多目标权衡的效率,并允许我们进行数据驱动的敏感性分析。通过添加归一化和子采样,该框架表现出了多样性和高效性,并在 t-SNE 和 UMAP 等可视化技术应用中进行了评估。我们利用多种质量指标在各种合成和实际数据集上评估了我们的结果,从而为降维算法中的超参数选择提供了一个强健而高效的解决方案
Jun, 2023
工程设计中的功能表面维度缩减技术对形状优化进行了详尽的回顾,从经典的线性方法(如主成分分析)到非线性方法(如自动编码器),再到集成物理数据的创新物理感知方法,探讨了这些技术的光谱。通过将这些方法整合到优化框架中,显示它们显著减轻了维度的困扰,简化了计算过程,以及在复杂功能表面的探索和优化中进行了改进。这份调查对方法进行了分类,凸显了这些技术在简化设计挑战方面的变革性影响,从而促进了更高效和有效的工程解决方案。
May, 2024
本文演示了如何利用多智能体系统开发一个分布式技术,用于确定任意集合的超参数的近似最优值,并在机器学习和全局函数优化应用中进行了研究。研究表明,在更高的维度下,所提出的模型在分类误差和函数评估方面都优于其底层随机调优策略。
May, 2022
本文提出一种结合局部优化与定制内核设计的新型解决方案,有效应对高维分类和混合搜索空间,同时保留样本效率,经实验证明在性能、计算成本等方面优于当前基准。
Feb, 2021
本文提供了一种全面的方法,用于研究超参数调整对 CART,C4.5 和 CTree 三种决策树归纳算法的影响。实验结果表明,超参数调整仅在三分之一的数据集中为 C4.5 和 CTree 提供了显著的改进,在大多数数据集中却为 CART 提供了显著的改进。不同的树算法可能呈现不同的调优场景,但总体而言,调优技术仅需要很少的迭代就能找到准确的解决方案。此外,所有算法的最佳技术都是 Irace。最后,我们发现调整特定的一小部分超参数对于可达到的最佳预测性能做出了最大的贡献。
Dec, 2018
高性能计算中的调谐搜索是解决计算应用中复杂优化挑战的关键,本文提出的方法通过适应和改进依赖性分析和高维分解技术,确保在现实场景中具备计算可行性的同时最大化性能收益。
Mar, 2024
提出了可视化感知采样(VAS)方法,通过优化可视化启发式损失函数,从而在保证可视化质量的基础上,实现对大规模数据集的快速采样。实验表明,VAS 相比现有的方法具有更高的成功率和更快的速度,尤其在回归、密度估计和聚类等场景下。
Oct, 2015
提出了一种名为顺序平面搜索的新型用户循环优化方法,它基于贝叶斯优化,并利用基于画廊的接口来帮助用户在高维设计空间中进行二维搜索子任务。实验结果表明,该方法比传统方法更为高效可行。
May, 2020
VDMS 自动调优框架 VDTuner 利用多目标贝叶斯优化,能够高效探索复杂多维参数空间,并在搜索速度和召回率之间达到最佳配置,显著提高 VDMS 性能(搜索速度提高 14.12%,召回率提高 186.38%),相比于默认设置更加高效,优于最先进的基准测试(调优时间最多快 3.57 倍),并可扩展到特定用户偏好和成本感知优化目标。
Apr, 2024