May, 2024
纤维采样问题的演员 - 评论算法
Actor-critic algorithms for fiber sampling problems
Ivan Gvozdanović, Sonja Petrović
TL;DR我们提出了一个用于代数统计和离散优化方面复杂问题的演员 - 评论算法，在高维多面体定义的有限非负整数点格子的一个子集中生成样本。我们将问题转化为马尔可夫决策过程，并设计了一种演员 - 评论增强学习算法，以学习一组可以用于采样的良好移动。我们证明了演员 - 评论算法收敛到一个近似最佳的采样策略。为了解决这些采样问题中通常出现的复杂性问题，并允许增强学习在大规模情况下发挥作用，我们的解决策略包括三个步骤：分解样本的起始点，在每个诱导的子问题上使用增强学习，并进行重构以获得原始多面体中的样本。在这个设置中，收敛性证明适用于分解中的每个子问题。我们在两个不同的情况下测试了这种方法。在统计应用中，高维多面体作为参考分布的支持集出现在广泛的分类数据统计模型的模型 / 数据拟合测试中。我们演示了如何使用增强学习解决模型拟合测试问题，对于问题规模和稀疏结构导致传统的 MCMC 采样器收敛太慢的数据集。为了测试算法的鲁棒性并探索其概括能力，我们将其应用于不同大小和稀疏水平的合成数据。