本研究提出了一种数字孪生的工业物联网新架构，通过可信的协作聚合机制，自适应地控制分布式学习频率并异步聚类，来提高学习性能，从而优化其工业4.0的应用效果。

Oct, 2020

本文提出了一种新的数字孪生网络（DTN）模型来帮助IIoT系统中的网络拓扑和随机任务到达模型，进而将随机计算卸载和资源分配问题转化为Lyapunov优化问题，并使用异步Actor-Critic算法来找到最优的随机计算卸载策略和提高能源效率。研究结果表明，该方案显著优于基准。

Nov, 2020

本文介绍了数字孪生无线网络（DTWN），并在其中运行了一种基于区块链的联邦学习框架，以协作式计算提高系统的可靠性和安全性并提高数据隐私，并通过多智能体强化学习找到了最优解。

Nov, 2020

本文提出了一种新的框架，叫做联合边缘智能（FEI），以评估物联网网络的能量成本和边缘服务器的本地数据处理能力，从而使边缘服务器适时地请求足够训练令人满意的模型所需的数据。同时，本文引入了映射函数来评估边缘服务器的计算负载，最后采用基于ADMM的方法来优化物联网网络的能量成本和边缘服务器的平均计算资源利用率。该文证明，所提出的算法不会泄露任何数据，也不会泄漏物联网网络的拓扑信息。仿真结果表明，FEI框架可以在有限的牺牲模型收敛性能的情况下，显著提高物联网网络和边缘服务器的资源效率。

Nov, 2020

提出一个联邦深度增强学习框架来解决物联网设备能耗和延迟的多目标优化问题，通过优化转移决策、计算资源分配和传输功率分配来实现；并采用分布式深度增强学习 (DRL) 和深度增强 Q 网络 (DDQN) 解题，辅以联邦学习 (FDL) ，能有效提高物联网设备的学习速度并保护其隐私。

Apr, 2021

5G及更高网络中多样化网络服务的扩散引发了网络切片技术的出现。其中，接纳控制通过选择性接受服务请求，在实现特定优化目标方面起关键作用。本文提出一种数字孪生（DT）辅助的深度强化学习（DRL）解决方案，以解决DRL模型初始不稳定性阻碍其在真实网络中实际部署的问题。通过监督学习建立DT，并在DRL模型的训练阶段利用其辅助。广泛的模拟实验表明，与直接训练的最新状态Dueling-DQN相比，DT辅助的DRL模型在初期训练时提高了40％以上的资源利用率，并且相比于直接训练的DRL模型提高了20％以上。在保持模型优化长期奖励能力的同时实现了这一改进。

Oct, 2023

互联需求的剧增导致物联网（IoT）传感器过量。为了满足大规模网络的管理需求，如准确的监测和学习能力，数字孪生是关键驱动因素。然而，由于物联网网络的连续连接要求，目前对数字孪生的实施尝试仍然不足。为了应对这些挑战，我们提出了一种数字孪生本地AI驱动的服务架构，以支持物联网网络概念。在提出的数字孪生本地架构中，我们实现了基于TCP的数据流水线和基于强化学习的学习模型。我们将该架构应用于物联网网络的一个广泛概念，即车联网。我们测量了我们提出的架构的效率，并注意到由于基于TCP的数据流水线而节约了约30％的处理时间。此外，我们通过应用多种学习速率组合来测试学习模型的性能，并强调最成功的模型。

Nov, 2023

网络切片通信系统通过动态和高效地分配资源来满足各种服务的需求。本文提出了一种由数字孪生和强化学习代理构成的框架来处理资源分配的问题，并验证了该框架的可扩展性，展示了数字孪生对切片优化策略性能的显著改进。

Nov, 2023

我们提出了一种基于深度强化学习和数字孪生技术的新型微服务卸载算法DTDRLMO，该算法利用数字孪生技术实时预测和适应协作边缘计算环境的负载和网络条件，从而为每个微服务选择最合适的边缘节点，优化服务完成时间。在真实和合成数据集上的模拟结果表明DTDRLMO在平均服务完成时间方面优于启发式和基于学习的方法。

Mar, 2024

本研究解决了数字双胞胎技术在工业物联网网络中实施时面临的数据孤岛和隐私问题。提出了一种动态资源调度算法，利用异步联合学习优化物联网设备选择和传输功率控制，从而降低能耗和延迟。研究表明，该算法在训练速度上显著优于基准方案，具有广泛的应用潜力。

Aug, 2024