本文使用深度强化学习的方法解决边缘计算中垂直缩放的问题，为车联网通信提供支持，实验表明，与现有解决方案相比，该方法可以降低至少 23％ 的 CPU 使用率，同时增加 24％ 的长期收益。

Jan, 2023

因为传统的车联网在上传到云处理中会有延迟，所以为了解决这一问题并提高系统性能，引入了边缘计算，在此基础上采用联邦学习，其中异步联邦学习则采用深度强化学习作为车辆的选择问题模型，模拟结果表明有效提高了全局模型聚合的准确性。

Apr, 2023

本文针对不断增长的城市人口和道路上日益增加的车辆，以保证交通的高效管理和安全成为了一个重要挑战。为了解决这些问题，本文以联邦深度强化学习（FDRL）技术为基础，对车辆避碰控制进行了全面研究。我们的主要目标是最小化行程延误，提高车辆的平均速度，同时注重安全和数据隐私保护。为了达到这一目标，我们针对本地模型深度确定性策略梯度（DDPG）和全局模型联邦深度确定性策略梯度（FDDPG）进行了比较分析，以确定它们在优化车辆避碰控制方面的效果。研究结果表明，相比于DDPG算法，基于FDDPG算法能更有效地控制车辆，避免碰撞。尤其是，基于FDDPG的算法在减少行程延误和提高平均速度方面取得了显著成效。

Aug, 2023

基于深度强化学习的车边计算中，根据车辆的整体性能和遭受的拜占庭攻击程度，提出了一种车辆选择方案，以有效提高全局模型的安全性和准确性。

Apr, 2024

本研究工作中，通过对分割学习和联邦学习优势的结合，提出了一种适应性分割联邦学习方案，用于车辆边缘计算。此方案通过自适应地分割模型并并行化训练过程，考虑了移动车辆选择和资源分配，极大地降低了训练延迟，并适应了网络动态和车辆的移动性。

May, 2024

人工智能和深度神经网络在车辆网络生态系统中的快速发展引入了计算密集型任务，对单个车辆的计算资源需求超过其能力，为解决这一挑战，车辆边缘计算作为一个解决方案应运而生，通过车辆间/基础设施之间的通信资源池提供深度神经网络任务的计算服务，本文将VEC中的DNN划分、任务卸载和资源分配问题建模为动态长期优化问题，目标是在时间上保证系统稳定的同时尽量减少DNN任务的完成时间，首先利用Lyapunov优化技术将原始的长期优化问题与稳定约束解耦成每个时隙的确定性问题，然后提出了一种基于Multi-Agent Diffusion-based Deep Reinforcement Learning (MAD2RL)算法，通过创新性地使用扩散模型来确定最优的DNN划分和任务卸载决策，在MAD2RL中还将凸优化技术作为子程序加以整合来分配计算资源，提高学习效率，通过对真实世界车辆移动轨迹的模拟，我们证明了我们所提出的算法相对于现有的基准解决方案具有更优越的性能。

Jun, 2024

车辆边缘计算通过执行本地任务或将任务卸载到附近边缘设备来实现高强度任务处理，而可重构智能表面则通过灵活调整相位来提供替代通信路径。本文提出了一个新的深度强化学习框架，结合修改后的多智能体深度确定性策略梯度（MADDPG）方法和块坐标下降（BCD）算法，用于优化车辆用户（VUs）的功率分配和可重构智能表面的相位调整，在模拟结果中表现出优于集中式深度确定性策略梯度（DDPG）方案和随机方案的性能。

Jun, 2024

利用车辆的计算和感知能力，本文提出了一种车辆联邦学习（VFL）算法，通过直接车对车（V2V）通信增强VFL训练效率，并考虑能量限制和车辆的移动性问题来优化VFL训练性能。通过导数漂移加罚方法将长期随机优化问题转化为在线混合整数非线性规划（MINLP）问题，并通过理论分析来衡量在线解和离线最优解之间的性能差距。通过对调度优先级的进一步分析，将原始问题简化为一组凸优化问题，并使用内点法有效求解。实验结果表明，与现有基准相比，所提出的算法将CIFAR-10数据集上的图像分类准确度提高了3.18％，并将Argoverse轨迹预测数据集上的平均位移误差降低了10.21％。

Jun, 2024

通过结合图神经网络和联邦多智能体强化学习，提出了一种分布式联邦学习框架用于优化保持信息新鲜度的道路场景下的多智能体卸载决策，该方法在模拟实验中验证了优于其他方法的性能。

Jul, 2024

车辆边缘计算是一种新兴技术，在车联网领域具有重要潜力，通过使车辆在本地执行密集的计算任务或将其转移到附近的边缘设备来提供支持。为了解决由于建筑物等障碍物导致通信链路质量严重恶化而妨碍卸载过程的挑战，本研究引入了可重构智能表面 (Reconfigurable Intelligent Surfaces, RIS)，通过动态调整RIS的相移来大幅提高车辆边缘计算系统的性能。在本工作中，考虑了RIS辅助的车辆边缘计算系统，并设计了一种优化方案，包括本地执行功率、卸载功率和RIS相移，考虑了随机任务到达和信道变化。为了解决这个方案，我们提出了一种创新的深度强化学习 (Deep Reinforcement Learning, DRL) 框架，结合了深度确定策略梯度 (Deep Deterministic Policy Gradient, DDPG) 算法，用于优化RIS相移系数，以及多智能体深度确定策略梯度 (Multi-Agent Deep Deterministic Policy Gradient, MADDPG) 算法，用于优化车辆用户的功率分配。仿真结果表明，我们提出的方案优于传统的集中式DDPG、Twin Delayed Deep Deterministic Policy Gradient (TD3)和一些典型的随机方案。

Jul, 2024