Feb, 2024

仓储中的拣货路径问题的深度强化学习

PDF
TL;DR仓库操作管理中的拣货路径规划是一个关键问题。由于问题的复杂性和快速解决的需求，实践中经常使用次优算法。然而，强化学习提供了传统启发式方法的一个有吸引力的替代方案，潜在地在速度和准确性方面优于现有方法。我们介绍了一种基于注意力机制的神经网络模型来建模拣货路线，该模型使用强化学习进行训练。我们的方法在一系列问题参数上与现有启发式方法进行了评估，以展示其效力。我们提出的方法的一个关键优势是可以降低路径的感知复杂性。
发现论文，激发创造
  • 学习高效且公平的不确定性感知人机协作拣货策略

    在协作式人机拣货系统中，通过仓库独立移动的人工拣货员和自主移动机器人（AMRs）在拣货位置汇合，拣货员将物品装上 AMRs。本文考虑在这种系统中在随机环境下将拣货员分配给 AMRs 的优化问题，提出了一种新颖的多目标深度强化学习（DRL）方法，以学习有效的分配策略，既最大化拣货效率，又提高人工拣货员的工作负载公平性。我们的方法使用图模型来建模仓库的状态，并定义了一个能够捕捉区域信息并有效提取与效率和工作负载相关表征的神经网络架构。我们开发了一个离散事件模拟模型，用于训练和评估提出的 DRL 方法。实验中，我们证明了我们的方法能够找到非支配策略集，从而在公平性和效率目标之间获得良好的权衡。训练的策略在效率和公平性方面优于基准线，并且在不同仓库大小的场景中展现出良好的可迁移性。

    Apr, 2024

  • 多卡车多腿需求路线的深度强化学习

    基于深度强化学习，使用编码器 - 解码器的注意机制生成的策略在某些车辆路径问题上表现出有效性，但在某些复杂车辆路径问题上，仍缺乏有效的强化学习方法。本研究针对一种包含多辆卡车和多段路径要求的车辆路径问题变体，扩展现有的编码器 - 解码器注意模型，使其能够处理多辆卡车和多段路径需求，并在日本汽车零部件制造商爱信公司的实际供应链环境中测试，发现我们的算法优于爱信公司的最佳解决方案。

    Jan, 2024

  • 多车辆路径问题的强化学习

    利用深度强化学习的编码器 - 解码器模型，并借助于复杂的张量需求结构，可以解决多车辆多节点的物流配送问题，从而实现对汽车配送业务的优化。

    Nov, 2022

  • 利用深度强化学习解决取送货问题的异构关注机制

    利用新颖的神经网络与异构关注机制解决了深度强化学习中无法应对的拣货和送货问题，实验结果证明了其在不同分布和问题规模下优于最先进的启发式策略和深度学习模型。

    Oct, 2021

  • 解决路径规划问题学习改进启发式方法

    本文提出一种基于 self-attention 的深度强化学习框架，以学习解决旅行商问题（TSP）和有容量车辆路径问题（CVRP）的改进启发式算法，实验表明该方法性能优于现有的深度学习方法，并且具有良好的泛化能力。

    Dec, 2019

  • 运用深度强化学习解决车辆路径问题

    本文介绍了强化学习在处理 NP-Hard 组合优化问题，特别是车辆路径问题方面的应用。作者将问题建模成一个马尔科夫决策过程，并采用了 Actor-Critic 类的 PPO 方法和基于卷积神经网络的神经架构。尽管与最先进的 OR-TOOLS 解算器相比略逊一筹，但该算法具有较好的泛化能力和较短的解答时间。未来的研究方向是提高算法的性能表现。

    Jul, 2022

  • 利用强化学习实现碳减排潜力的三维装载有容量的车辆路径问题

    使用强化学习模型解决三维装备车辆路径问题，使得物流优化向大规模应用迈出有希望的第一步。

    Jul, 2023

  • 自适应可变需求的自主路由和取货问题的多智能体强化学习

    提出了一个通过自适应路由策略降低等待时间、考虑未来需求以及能够适应不同需求分布的自主汽车调度和接送框架，该框架通过线上游戏算法和线下逼近方案相结合，在美国旧金山的实际出租车需求中得到了验证。

    Nov, 2022

  • 用强化学习解决车辆路径规划问题

    本文提出了一个端到端的框架，使用强化学习来解决车辆路径问题 (VRP)，我们训练一个单一的模型，仅通过观察奖励信号和遵守可行性规则，就可以找到给定分布采样的问题实例的近最优解。通过将策略梯度算法应用于优化其参数，我们的模型在实时中以连续操作序列的形式生成解决方案，无需为每个新问题实例重新训练，我们的方法在解决负载容量 VRP 的中等规模实例时，在解决质量上优于经典的启发式算法和 Google 的 OR-Tools，同时具有可比较的计算时间，在本文中还探讨了分裂交付对解决质量的影响。我们的提出的框架可以应用于其他 VRP 变体，例如随机 VRP，并具有应用于组合优化问题的潜力。

    Feb, 2018

  • DRL4Route：一种基于深度强化学习的提取和交付路线预测框架

    目前对 Pick-up and Delivery Route Prediction 的研究主要集中在利用深度神经网络、强化学习等方法来预测工人的服务路线，并提出了一种名为 DRL4Route 的基于强化学习的框架用于改善现有的深度学习模型，其中 DRL4Route-GAE 模型在物流服务中更进一步实现了平衡偏差和方差的策略优化，通过离线与在线实验表明相对于现有方法能够分别提高 Location Square Deviation（LSD）0.9%-2.7% 和 Accuracy@3（ACC@3）2.4%-3.2%。

    Jul, 2023