数字孪生网络中随机计算卸载的深度强化学习
本文提出了一种数字孪生（DT）辅助的任务卸载框架，用于移动边缘计算卸载策略的优化，基于预测未来计算任务的学习方案，将卸载调度过程建模为马尔可夫决策过程（MDP），以在延迟、能耗和云租用成本之间平衡，以获得最优卸载策略。
Dec, 2021
互联需求的剧增导致物联网（IoT）传感器过量。为了满足大规模网络的管理需求，如准确的监测和学习能力，数字孪生是关键驱动因素。然而，由于物联网网络的连续连接要求，目前对数字孪生的实施尝试仍然不足。为了应对这些挑战，我们提出了一种数字孪生本地 AI 驱动的服务架构，以支持物联网网络概念。在提出的数字孪生本地架构中，我们实现了基于 TCP 的数据流水线和基于强化学习的学习模型。我们将该架构应用于物联网网络的一个广泛概念，即车联网。我们测量了我们提出的架构的效率，并注意到由于基于 TCP 的数据流水线而节约了约 30％的处理时间。此外，我们通过应用多种学习速率组合来测试学习模型的性能，并强调最成功的模型。
Nov, 2023
数字孪生（DT）已成为增强工业物联网（IIoT）网络中制造效率的有前途的解决方案。为了提高无线 IIoT 网络中 DT 的效率和可靠性，我们提出了一种区块链启用的 DT（B-DT）框架，采用深度神经网络分区技术和基于声誉的共识机制，其中在网关端维护的 DT 使用从关联 IIoT 设备收集的数据执行 DNN 推理任务。通过将顶层 DNN 推理任务卸载到接入点（AP）端，我们首先采用 DNN 分区技术，减轻了网关端的计算负担，从而提高了 DNN 推理的效率。其次，我们提出了一种基于声誉的共识机制，将工作量证明（PoW）和权益证明（PoS）进行融合。具体而言，所提出的共识机制根据每个 AP 的计算资源对 DNN 推理任务的贡献评估其链下声誉，并将链下声誉作为权益来调整区块生成的难度。第三，我们制定了一种通信资源（即分区点）和计算资源分配（即 AP 的顶层 DNN 推理和区块生成的计算频率）的随机优化问题，以在时变信道状态和链下声誉的长期约束条件下最小化系统延迟，并使用李雅普诺夫优化方法解决问题。实验结果表明，所提出的动态 DNN 分区和资源分配（DPRA）算法在减少总体延迟同时保证 B-DT 系统的可信度方面优于基线算法。
May, 2024
本文介绍了数字孪生无线网络（DTWN），并在其中运行了一种基于区块链的联邦学习框架，以协作式计算提高系统的可靠性和安全性并提高数据隐私，并通过多智能体强化学习找到了最优解。
Nov, 2020
本论文提出了一种考虑到异构的移动云计算 / 移动边缘计算环境的数字孪生系统模型以及一个新的基于分布式深度学习的卸载方案，并通过实验结果证明了该算法相对于动态数字孪生系统中的基线具有较好的降低系统平均延迟和能耗的效果。
Jul, 2023
本研究提出了一种数字孪生的工业物联网新架构，通过可信的协作聚合机制，自适应地控制分布式学习频率并异步聚类，来提高学习性能，从而优化其工业 4.0 的应用效果。
Oct, 2020
提出了一种基于数字孪生增强的强化学习框架，旨在优化网络资源管理的性能和可靠性，此框架在物理网络中应用传统的强化学习面临多个统一挑战，包括有限的探索效率、收敛速度缓慢、长期性能较差以及在探索阶段的安全问题。
Jun, 2024
网络切片通信系统通过动态和高效地分配资源来满足各种服务的需求。本文提出了一种由数字孪生和强化学习代理构成的框架来处理资源分配的问题，并验证了该框架的可扩展性，展示了数字孪生对切片优化策略性能的显著改进。
Nov, 2023
本文提出了一种 Digital Twin 辅助的 RL 任务调度方法，在探索效率上通过 DT 显著提高 RL 的收敛速度，使用 DT 模拟智能体做出的不同决策，从而实现探索多种行动并行交互的效果，提高了更快的数据分析能力和收敛效果。
Aug, 2022