库存策略的 VC 理论

Apr, 2024

VC Theory for Inventory Policies

Yaqi Xie, Will Ma, Linwei Xin

TL;DR计算能力和人工智能的进步增加了对强化学习在库存管理中的兴趣，本论文对这些方法提供了理论基础，并探讨了将政策结构限制为几十年来库存理论所熟知的结构的好处。我们利用 Vapnik-Chervonenkis 理论证明了对学习几种众所周知的库存策略（包括基准库存量和 (s, S) 策略）的泛化保证，应用了 Pseudo-dimension 和 Fat-shattering 维度的概念来确定库存策略的泛化能力。我们的研究结果从管理角度提供了以下见解：首先，在库存管理中存在 “学得越少越好” 的原则，根据可用的数据量，限制自己到一个更简单但次优的库存策略类别可能是有益的，以最小化过拟合误差。其次，策略类别中的参数数量可能并不是衡量过拟合误差的正确指标：事实上，由 T 个时变基准库存水平定义的策略类别的泛化误差与两个参数的 (s, S) 策略类别相当。最后，我们的研究建议在黑盒学习机器中将基准库存和库存位置的概念纳入，而不是让这些机器直接学习订购量行动。

Abstract

Advances in computational power and AI have increased interest in reinforcement learning approaches to inventory management. This paper provides a theoretical foundation for these approaches and investigates the

reinforcement learning inventory management policy structures vapnik-chervonenkis theory generalization guarantees

发现论文，激发创造

大型供应链网络的通用库存管理策略学习

研究了基于强化学习的仓库库存管理算法，该算法可以用于产品和零售商数量都庞大的供应链系统，并提供了一种训练阶段中模拟系统的近似方法来解决处理大型系统的计算问题，实验证明了该算法可以成功地处理大型供应链网络。

Apr, 2022

使用通用价值函数学习领域支持的库存管理策略

一个使用强化学习和通用值函数的库存管理方法，通过域支持的库存补货策略实现了平衡可用性和浪费等目标，并提供了对决策的领域支持洞察。

Nov, 2023

供应链库存管理的深度强化学习方法

本文提出使用强化学习和深度学习技术来解决供应链库存管理问题，提供了随机两阶段供应链环境的数学形式，并开发了一个公开的库，以便使用深度强化学习算法解决 SCIM 问题。实验结果表明，DRL 相对于标准的重新订购策略表现更好，因此可以被视为解决真实世界的问题的一种实用有效的选择。

Apr, 2022

用于评估和改进库存控制策略的上下文境决策

该研究介绍了周期性审查库存控制问题的解决方案，涉及非平稳随机需求、销售损失和随机供应商交货时间，引入了平衡策略的概念，并提供了一种轻量级的基于上下文的依据算法，以评估和偶尔调整策略，证明了该方法在理论和实证研究中取得了良好的保证。

Oct, 2023

非离散设置的计算 Vapnik-Chervonenkis 维度

开发了一种在没有约束条件的情况下近似计算 VC 维度的方法，该方法基于经验风险最小化学习范式，用于表征概念类的粉碎性质。

Aug, 2023

关键资源的认证库存控制

库存管理中使用数据驱动的订单策略以满足服务水平要求，该策略利用在线学习方法和积分行为证明了在未知需求情况下的任何指定服务水平，在有限样本中使用的推断方法被证明具有一定的性质和理论保证。

May, 2024

VC 维与无分布样本检验

研究 PAC 学习模型下，哪些函数类别可以被测试得比学习更高效的问题，发现 VC 维度本身并不能始终提供紧密的边界，但可以与其类似的 LVC 维度相结合，获得强大的下限，进而在测试区间并集、半空间、多项式阈值函数、决策树等方面获得了强大且几乎最优的下限，同时表明 Juntas 和单调函数是可以通过多项式样本测试的。此外，通过 VC 维度和属性测试之间的联系，还建立了测试半径聚类和测试线性约束系统可行性的新下限。

Dec, 2020

透过回顾可微政策优化实现网络中的神经库存控制

通过优化策略的效果并提出一种神经网络结构解决了库存管理的难点，我们可以稳定应用深度加强学习算法来对具有隐藏结构的问题进行优化。

Jun, 2023

库存管理的协作多智能体强化学习

本文提出了一种基于强化学习的库存管理系统，主要解决现实供应链环境下的计算需求和奖励框架等问题，并通过 GPU 并行化环境和状态动态规划等创新来优化大型零售商供应链需要。该系统实现了区别于基础库存策略的控制策略，并给出了未来研究方向的讨论。

Apr, 2023

带有凸代价函数的结构化 MDP 学习：改进的库存管理遗憾界限

设计了一种学习算法来解决一个基本库存管理中未知需求分布的问题，使用基本库存策略的下限和凸性等属性来建立与随机凸臂优化的联系，极大地提高了此问题的已知后悔上限。

May, 2019