文章介绍了价值迭代网络（VIN），它是一个内嵌有 “规划模块” 的全可微神经网络，可以学习规划和预测基于规划的推理，如强化学习策略，其中的关键是一种新颖的可微近似值迭代算法，可表示为卷积神经网络，并使用标准反向传播进行端到端训练。我们在离散和连续路径规划域以及基于自然语言的搜索任务上评估 VIN 策略，并表明通过学习显式规划计算，VIN 策略可以更好地推广到新的、未见过的域。

Feb, 2016

使用可微分规划模块和嵌入式高速值迭代的方法，有效地解决了长期规划问题并在数百个规划步骤中超越了传统的值迭代网络和一些很深的神经网络。

Jun, 2024

该论文介绍了一个称为 GVIN 的神经网络规划模块，利用图卷积算子模拟价值迭代算法，并提出了三种不同可微分的卷积核，其中基于嵌入的卷积核表现最佳，进而提出了改进型 Q 学习，用于网络训练的稳定化。实验结果表明，GVIN 在二维迷宫、不规则图形和真实街道网络的规划问题上表现出优秀的泛化性能。

Jun, 2017

本文提出了一种名为 GS-VIN 的价值迭代网络，该网络采用自适应迭代策略来降低迭代次数，并引入了门控汇总模块来总结整个迭代过程，研究表明在 2D 网格世界路径规划问题和 Atari Mr. Pac-man 环境中，GS-VIN 在单步准确性、规划成功率和不同地图大小的整体性能方面优于基线。

May, 2023

DT-VIN 通过增加动态转移内核和引入自适应高速公路损失来提高价值迭代网络在强化学习中规划的表达能力和解决长期大规模规划任务的能力。

Jun, 2024

我们提出了一种叫做 XLVINs 的新方法，它通过结合对比自监督学习、图表示学习和神经算法推理等新方法，成功地在一般环境中部署了 VIN 风格的模型，克服了目前主要存在的局限性，同时匹配了在固定和已知的离散 MDP 情况下的 VIN 模型的性能，并在三个一般的 MDP 设置上提供了显著的模型无关基线改进。

Oct, 2020

本研究提出了一种基于不同可微可导规划器的机器人导航方法，用于规划并导航三维环境中的机器人，并考虑实际应用中的限制，该方法是在无需先验知识的情况下从安全的专家示范中训练产生，能够成功地应用于真实机器人的模拟导航。

Aug, 2021

本研究将 Value Iteration Networks 扩展为解决协作规划任务，通过多个 VINs 相互连接并通过迭代梯度下降生成协作策略，验证结果表明，所得网络能够解决需要协作的非完整性运动规划问题。

Sep, 2017

该研究旨在展示神经算法推理如何在较高维度的连续控制任务中发挥作用，通过对 XLVIN 模型的扩展和改进，提供了一种处理连续行动空间的方法，并且在低数据设置中表现出色。

Nov, 2022

该论文研究了如何使用群对称性改善端到端可微规划算法的数据效率和泛化能力，当对称性出现在决策任务中时。 通过等变卷积网络的启发，将路径规划问题视为网格上的信号，并表明在此情况下，价值迭代是一个线性的等变算子，即一个（可转向）卷积。 基于 VIN 的实现，使用等变卷积网络来纳入对称性。 在三个路径规划任务和一个工作空间操纵任务中的实验表明，我们的算法较 VIN 和 GPPN 的非等变协方差算法提高了大量的训练效率和泛化能力。

Jun, 2022