猴子生意：强化学习遇到邻域搜索用于虚拟网络嵌入

Feb, 2022

猴子生意：强化学习遇到邻域搜索用于虚拟网络嵌入

Monkey Business: Reinforcement learning meets neighborhood search for Virtual Network Embedding

Maxime Elkael, Massinissa Ait Aba, Andrea Araldo, Hind Castel, Badii Jouaber

TL;DR本文提出了一种新的虚拟网络嵌入算法 NEPA，该算法与 NRPA 和邻域搜索相结合，通过 “猴子式” 的跳跃方式学习并改进嵌入决策，并在真实和合成拓扑上取得比其他同类算法更好的结果。

Abstract

In this article, we consider the virtual network embedding (VNE) problem for 5g networks slicing. This problem requires to allocate multiple Virtual Networks (VN) on a substrate virtualized physical network while

virtual network embedding 5g networks slicing monte carlo tree search nested rollout policy adaptation neighborhood enhanced policy adaptation

发现论文，激发创造

基于强化学习的安全感知虚拟网络嵌入算法

提出一种基于强化学习的安全感知虚拟网络嵌入算法，采用策略网络作为学习代理并在训练阶段使用子节点属性提取为特征矩阵，该算法在安全性、收益和虚拟网络请求接受率等方面表现优于典型方法。

Feb, 2022

基于图卷积神经网络和强化学习的动态虚拟网络嵌入算法

本文提出了一种基于强化学习和图卷积神经网络的动态虚拟网络嵌入算法，将自定义的适应度矩阵和适应值作为目标函数，实现了高效的动态虚拟网络嵌入，有效降低了资源碎片化程度，并验证了该算法具有优秀的灵活性和基本 VNE 特性。

Feb, 2022

VN 网络：嵌入新出现的实体与虚拟邻居

通过引入逻辑规则和对称路径规则，我们提出了一种名为 Virtual Neighbor（VN）网络的新框架来解决嵌入方法中的邻居稀疏问题，该网络在两个知识图完成任务上明显优于现有方法，并且对邻居稀疏问题高度稳健。

Feb, 2024

通过分层深度强化学习实现虚拟网络嵌入的联合接纳控制和资源分配

本文提出了一种深度分层强化学习方法，命名为 HRL-ACRA，用于解决虚拟网络嵌入中的综合接纳控制和资源分配问题。通过分解 VNE 过程为上层策略和下层策略，考虑到无限时间问题和奖励稀疏问题，采用了平均奖励方法和自定义多目标内在奖励。同时，利用深度特征感知图神经网络和序列到序列模型，能够更好地获取 VNR 和物理网络的特征，并生成嵌入行动。实验证明 HRL-ACRA 在接纳率和长期平均收入方面优于现有基线算法。

Jun, 2024

FlagVNE: 网络资源分配的灵活且可普适的强化学习框架

在本研究中，我们提出了一种名为 FlagVNE 的灵活且具有普适性的虚拟网络嵌入的强化学习框架，通过设计双向基于动作的马尔可夫决策过程模型，使用层次解码器来生成自适应的动作概率分布，并采用元强化学习的训练方法和课程计划策略来解决动作空间扩展和泛化问题，进而提高解决方案空间的探索灵活性和训练效率，实验证明了 FlagVNE 在多个关键指标上的有效性。

Apr, 2024

具有延迟预测的多域虚拟网络嵌入算法

本文提出了一种基于延迟预测的多域虚拟网络嵌入算法 (DP-VNE)。通过预估虚拟请求的延迟，选取候选物理节点，然后使用粒子群优化算法来优化映射过程，从而降低系统延迟。仿真结果表明，相比其他三种高级算法，本文提出的算法能够显著降低系统延迟同时保持其他指标不受影响。

Feb, 2022

VPE: 变分策略嵌入用于迁移强化学习

本文研究了如何在不同领域中转移知识和适应环境，提出了使用基于 Q 函数的方法来寻找一个可适应不同潜在变量值的主策略，使用低维潜在变量生成映射和近似后验概率来识别新任务的策略。并将该方法应用于模拟的摆起任务和推动任务的转移上。

Sep, 2018

基于负载均衡的物联网多域 VNE 算法

在 IoT 环境下，为了在网络负载大且性能需求高的情况下提供更灵活的虚拟网络映射服务，提出了一种基于混合遗传算法的虚拟网络映射策略，包括动态计算交叉概率和基于信息素的变异基因选择策略，以及基于负载均衡的权重更新机制。仿真结果表明，该方法在多项性能指标方面表现良好。

Feb, 2022

多种人群交替进化神经架构搜索

通过将搜索空间转换为相互连接的单元，并顺序地搜索这些单元，然后对整个网络的上述搜索进行多次循环以减小先前单元对后续单元的影响，我们提出了 Multiple Population Alternate Evolution Neural Architecture Search（MPAE）这一新颖的神经网络架构搜索范式，并在迁移归档中建立出色的迁移档案，并将其中的优秀知识和经验传递给新的群体，从而加速种群进化过程，该方法仅需要 0.3 GPU 天即可在 CIFAR 数据集上搜索神经网络，并达到了最先进的结果。

Mar, 2024

具有有限重复次数的泛化嵌套展开策略调整

通过限制特定层级上找到的最佳顺序的重复次数，我们改进了广义嵌套展开策略适应算法，从而避免了过于确定性的策略，实验证明这对于反向 RNA 折叠、旅行推销员问题和弱 Schur 问题这三个组合问题有所改进。

Jan, 2024