使用成员预言主动学习组合优化
支持向量机（SVM）是用于二分类的广泛研究的监督学习模型。半监督支持向量机（S3VMs）通过利用有标签和无标签数据，扩展了传统的 SVM 分类器，旨在在存在无标签数据的情况下最大化样本间的边界，以实现比传统 SVM 更高的准确性和鲁棒性。本文提出了一种新的基于半定规划（SDP）松弛的 S3VMs 分支定界方法。我们应用基于最优性的界限加强方法来限制可行集。箱约束使我们能够包括有效不等式，增强下界。与文献中提供的界限相比，所得到的 SDP 松弛提供了显著更强的界限。至于上界，则利用 SDP 松弛的解定义局部搜索。计算结果突显了该算法的效率，展示其解决数据点数量比文献中的解决数量多 10 倍的实例的能力。
Dec, 2023
通过受支持向量机（SVM）边界启发，本文提出了一种新的对抗训练方法来提高鲁棒分类器对线性和非线性分类问题中不确定性的处理能力。我们通过数据驱动的视角来解释鲁棒性，并推导了二元和多类情景下线性和非线性分类器的有限样本复杂度界限。我们的算法通过线性规划（LP）和二阶锥规划（SOCP）来最小化最坏情况下的代理损失函数，适用于线性和非线性模型。在 MNIST 和 CIFAR10 基准数据集上的数值实验显示，我们的方法与最先进的方法相比具有可比性能，在训练过程中不需要对抗性示例。我们的工作提供了一个全面的框架，用于增强二元线性和非线性分类器的鲁棒性，在面对对手时保持学习的鲁棒性。
Mar, 2024
本文研究了一种统一的框架方法用于解决一类混合整数优化问题，通过对其逻辑约束进行非线性方式的表达，结合规则化条件及基于混合精度算法，形成了凸二进制优化问题，并利用一种综合的数字策略方法解决问题。
Jul, 2019
我们研究了线性支持向量机（SVM）中的嵌入式特征选择问题，其中采用了基数约束，从而形成了一个完全可解释的选择模型。我们提出了两种混合整数模型，并针对其提出了新的 SDP 松弛策略。通过利用松弛策略的稀疏性模式，我们将问题进行分解，并在一个较小的锥体中获得了等效的松弛策略，使锥形方法具有可伸缩性。为了最大程度地利用分解的松弛策略，我们提出了使用其最优解信息的启发式方法。此外，通过解决一系列混合整数分解的 SDP 问题，我们提出了一种精确的过程。我们报告了在经典基准数据集上的数值实验结果，展示了我们方法的效率和效果。
Apr, 2024
我们提出了一种基于机器学习和优化的方法来选择给定实例的求解器配置。通过使用一组求解实例和配置来学习求解器的性能函数，然后利用学习得到的信息构建一个混合整数非线性规划问题，在未知实例到达时解决该问题，以找到基于性能函数的最佳求解器配置。我们的方法的主要创新在于将配置集搜索问题定义为数学规划问题，这使得我们可以有效地通过现成的优化工具强制执行配置的依赖和兼容性约束，并高效地解决该问题。
Jan, 2024
通过系统的约束求解器的黑盒方案，结合搜索空间的统一探索，我们提出了一种新的采样技术，可以克服采样过程中的诸多困难，形成了自然的近似模型计数技术。
Oct, 2012
本文提出了一种基于采样技术和新的乘性更新算法的新颖子线性时间逼近算法，可用于解决一些机器学习优化问题，如训练线性分类器和查找最小包含球，此外，还用于解决一些核化版本的这些问题，如 SVM 等。此外，文章还在半流数据流设置中给出了实现，实现了第一个低通多项式空间和次线性时间算法。
Oct, 2010
本研究旨在设计分类器，使其在不同的自动化水平下运行时具有最佳性能。我们提出了一种用于支持向量机的算法，它有近似保证，并对合成和现实数据进行了实验证明，说明在人类协助下，训练以不同自动化水平运行的管理学习模型可以优于全自动化的模型和单独操作的人类，为这个目标展开了新的思路。
Jun, 2020
本文发展了第一个能够在 “预测 - 优化” 框架中进行主动学习的方法，该方法在决策问题的优化模型参数对应的标注样本的无标注数据流中逐步决定是否请求特征样本的 “标签”，其中标签是指决策模型参数的参数。我们的主动学习方法是第一个受预测参数引起的决策误差直接影响的方法，也就是所谓的 SPO 损失。根据 SPO 丢失的结构，我们的算法采用基于间隔的标准，利用退化距离概念最小化从收集的数据得到的 SPO 代理，开发了一种既有硬性拒绝变种又有软性拒绝变种的高效主动学习算法，每种算法都具有理论上的超额风险（即泛化）保证。此外，我们推导了标注成本的界限，这是指为了实现所需的 SPO 风险水平而获得标签的样本数。在一些自然低噪声条件下，我们展示了这些边界可以比标签所有样本的朴素监督学习方法更好。此外，当使用 SPO + 损失函数时，这是 SPO 损失的一个专门的代理，我们在可分离条件下推导出了显着较小的标注复杂度。我们还介绍了数字证据，显示我们所提出的算法在个性化定价和最短路径问题的设置中具有实际价值。
May, 2023