May, 2024

解锁算法特性的力量：算法选择的推广分析

PDF
TL;DR通过算法特征以及一般化观点，我们提出了基于算法特征的算法选择具有可证的保证的第一个模型，并分析了几个因素对一般化误差的影响。我们证明了在复杂的多算法场景中，基于算法特征的模型在一般化方面优于仅依赖问题特征的传统模型，并在分布变化的场景中表现出正相关的一般化误差和训练集与测试集之间的卡方距离。
algorithm selection researchalgorithm featuresgeneralization perspectiverademacher complexitydistribution shifts
发现论文，激发创造
  • 基于特征的性能预测模型的泛化能力研究：基准测试的统计分析

    该研究通过对各种基准套件的算法性能预测模型的泛化能力进行考察，比较问题集合的统计相似性和基于探索性景观分析特征的性能预测模型的准确性，我们发现这两个指标之间存在着正相关关系。具体来说，当训练和测试套件之间的高维特征值分布缺乏统计显著性时，模型往往能够很好地进行泛化，即测试误差与训练误差处于同一范围内。两个实验证实了这些发现：一个涉及标准基准套件 BBOB 和 CEC 集合，另一个使用了五个由 BBOB 问题实例的仿射组合构成的集合。

    May, 2024

  • 评估性能预测模型的泛化能力

    本研究提出了一种可以估算算法性能预测模型泛化能力的方法，并通过在基准测试套件之间训练预测模型来测试该方法的可行性，结果表明，特征空间中的泛化模式确实反映在性能空间中。

    May, 2023

  • 核逼近的随机特征：算法、理论及其它

    本篇论文系统地回顾了过去十年中随机特征方面的研究进展，包括算法特点、理论结果、基准测试数据集上的表现、分类预测性能等，并探讨了随机特征与深度神经网络之间的关系，有望成为感兴趣的从业者应用代表性算法和理解理论结果的用户指南，并为这个领域的未来研究方向提供一些启示。

    Apr, 2020

  • 数据驱动算法设计的泛化保证：学习高性能算法需要多少数据？

    研究表明，数据驱动的算法设计可以显著提高性能，我们提供了一个推广的理论，用于推导性能的一般化保证，无论参数是如何调整的。该理论还暗示了计算生物学中的投票机制和动态规划算法的新界限。

    Aug, 2019

  • 鲁棒性和泛化性

    基于稳健性的学习算法的普适性界限推导及其稳健性被证明是学习算法发挥作用的基本属性。

    May, 2010

  • 基于组合投资算法选择的泛化性能

    本文探讨了基于组合算法选择的一个有效算法配置过程，分析了三种情况可能导致多样性的算法集合与性能预测之间的差距，提出了一种 end-to-end 的学习理论分析集合组合与算法选择的方法，并通过实验证明个体算法选择器的复杂性和算法性能的学习理论复杂性将会对方案的性能产生重要影响。

    Dec, 2020

  • 领域自适应特征学习的理论分析和极其简易的算法

    本文分析了用于解决域适应问题的特征学习算法，并提出了一种新的极其简单的特征学习算法，用于域适应，并扩展了该算法以利用多层，从而导致深度线性模型。实验结果展示了这些算法的有效性。

    Sep, 2015

  • 黑盒单目标连续优化算法自动选择使用的元特征调查

    通过对单目标连续黑箱优化领域的算法选择的关键贡献进行概述，我们介绍了在优化问题实例、算法实例及其交互的元特征表示学习方面的正在进行的工作，并研究了用于自动算法选择、配置和性能预测的机器学习模型，通过这些分析，我们发现了现有技术的不足之处，并提出了进一步发展元特征表示的思路。

    Jun, 2024

  • 机器学习中的越界泛化

    研究探讨了机器学习中的问题，特别是当模型在不同于训练数据的数据上进行测试时，模型很容易出现失败的现象，主要依靠发现数据的因果结构、找到可靠的特征并进行推广算法等方面展开探讨。

    Mar, 2021

  • 一种应用特定算法选择的 PAC 方法

    本文使用统计和在线学习理论的概念来分析特定应用领域下的算法选择问题，并将算法选择建模为统计学习问题，同时研究了在线算法选择问题的可能性和不可能性结果。

    Nov, 2015