网络切片通信系统通过动态和高效地分配资源来满足各种服务的需求。本文提出了一种由数字孪生和强化学习代理构成的框架来处理资源分配的问题，并验证了该框架的可扩展性，展示了数字孪生对切片优化策略性能的显著改进。

Nov, 2023

通过引入数字孪生技术来减少无人机网络实际训练的成本，该方法使用两个级联神经网络进行优化，同时保证了训练性能。

Oct, 2023

本文提出了一种 Digital Twin 辅助的 RL 任务调度方法，在探索效率上通过 DT 显著提高 RL 的收敛速度，使用 DT 模拟智能体做出的不同决策，从而实现探索多种行动并行交互的效果，提高了更快的数据分析能力和收敛效果。

Aug, 2022

5G 及更高网络中多样化网络服务的扩散引发了网络切片技术的出现。其中，接纳控制通过选择性接受服务请求，在实现特定优化目标方面起关键作用。本文提出一种数字孪生（DT）辅助的深度强化学习（DRL）解决方案，以解决 DRL 模型初始不稳定性阻碍其在真实网络中实际部署的问题。通过监督学习建立 DT，并在 DRL 模型的训练阶段利用其辅助。广泛的模拟实验表明，与直接训练的最新状态 Dueling-DQN 相比，DT 辅助的 DRL 模型在初期训练时提高了 40％以上的资源利用率，并且相比于直接训练的 DRL 模型提高了 20％以上。在保持模型优化长期奖励能力的同时实现了这一改进。

Oct, 2023

数字孪生（DT）对于实现可持续和有效的智慧城市解决方案至关重要，但现有的 DT 建模技术无法支持智慧城市环境的动态性，本研究探讨了时空图，并提出了基于强化学习的自适应孪生（RL-AT）机制，通过深度 Q 网络（DQN）的方法来填补该空白，该研究在精确性、同步性、资源优化和能源效率方面做出了贡献，时空图模型能够以更一致的精确性提供 55% 更高的查询性能，此外，我们的模型还证明了较低的开销和节能消耗率，实现了合理时间的数据获取，开销下降了 20%，能源消耗下降了 25%。

Jan, 2024

本文主要讨论了 DRL 技术在无线网络领域中的应用，提出了安全性和加速性等难点问题，并对安全加速 DRL 的解决方案进行了分类和讨论，最后通过案例研究展示了如何通过传输学习和安全探索来加速智能无线接入网络的 DRL 控制器收敛。

Sep, 2022

本文针对 5G 及更高版本中的高复杂度无线资源管理问题，通过引入基于深度强化学习的云计算和分布式决策方案，并结合压缩算法和空间迁移学习，提出一种实现绿色深度强化学习的架构和算法，为实现绿色智能设备带来了潜在的解决方案。

Oct, 2019

本文提出了一种可持续的多智能体深度强化学习框架，能够按需选择性地扩展并行训练工作负载，并利用最小的硬件资源将训练策略从模拟转移到真实环境中。我们引入了 AutoDRIVE 生态系统作为一种使合作和竞争的多智能体强化学习策略能够从模拟环境转移到现实环境中进行训练、部署和传输的数字孪生框架。在研究中，我们首先探讨了 4 个合作车辆（Nigel）在单个智能体和多智能体学习环境中共享有限状态信息时的交叉路口问题，并采用了共同的策略方法。然后，我们使用个体策略方法研究了 2 辆车（F1TENTH）的对抗自主赛车问题。在实验中，我们采用了分散式学习架构，能够在不确定性环境中进行稳健的策略训练和测试。智能体只能观察到有限的观测空间，并且只能采样满足运动动力学和安全约束的控制动作。我们以定量指标和定性评述的方式报告了两个问题陈述的实验结果，包括训练和部署阶段。我们还讨论了用于加速多智能体强化学习训练的智能体和环境并行化技术，并分析了它们的计算性能。最后，我们使用提出的数字孪生框架展示了从模拟环境到真实环境中训练策略的资源感知过渡。

Mar, 2024

提出了一种适用于基于数字孪生的无线网络的离线多智能体保守分位回归 (MA-CQR) 方案，通过集成分布式强化学习和保守 Q 学习来解决环境的内在的随机性不确定性和数据有限性导致的认识不确定性。在无人机网络中应用该方案，展示了其对轨迹规划问题的优势。

Feb, 2024

该研究提出了一个数字孪生框架，应用于石油和天然气工业中的气举过程，旨在提高数字孪生系统的稳健性和适应性。该框架结合了贝叶斯推断、蒙特卡罗模拟、迁移学习和不确定性管理等技术，为数字孪生系统提供高效、可靠、值得信赖的识别，并致力于改进复杂实际场景中的决策过程。

Nov, 2023