使用进化图强化学习优化内存分配

Jul, 2020

使用进化图强化学习优化内存分配

Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning

Shauharda Khadka, Estelle Aflalo, Mattias Marder, Avrech Ben-David, Santiago Miret...

TL;DR本文提出了一种基于进化图强化学习（EGRL）的方法，用于深度神经网络加速器的自动内存映射，该方法结合了图神经网络、强化学习和进化搜索等技术，并在 Intel NNP-I 芯片上进行了训练和验证，实验结果表明，EGRL 在 BERT、ResNet-101 和 ResNet-50 三种工作负载中表现良好，并相对于原生 NNP-I 编译器获得 28-78% 的加速。

Abstract

For deep neural network accelerators, memory movement is both energetically expensive and can bound computation. Therefore, optimal mapping of tensors to memory hierarchies is critical to performance. The growing complexity of neural networks calls for automated →

deep neural network accelerators memory mapping tensor evolutionary graph reinforcement learning intel nnp-i chip

发现论文，激发创造

演化引导的强化学习策略梯度

本文介绍了一种基于人工进化算法和深度强化学习相结合的进化增强学习算法，该算法克服了传统深度强化学习算法中时序资格分配、探索效率和收敛性极度敏感的问题，使用基于种群的进化算法来训练深度强化学习代理人，实验结果表明，该方法在多种连续控制基准测试中显著优于传统深度强化学习和进化算法方法。

May, 2018

深度神经进化：遗传算法是训练深度神经网络进行强化学习的竞争性替代方案

我们证明了遗传算法可以在深度人工神经网络上实现良好的性能表现，即使没有梯度信息支持，我们使用深度遗传算法结合新颖搜索技巧在具有挑战性的深度强化学习问题上获得了成功，并且速度比其他算法更快，能够实现高效编码。

Dec, 2017

控制任务中的循环架构的神经进化

该研究提出了一种新方法，即利用少量的突变规则来动态演化循环神经网络的结构，其结果表明，这种方法可以在大多数情况下匹配或超过梯度下降方法的性能，同时使用数量级更少的参数，该方法有望在对网络紧凑性和自主设计至关重要的实际应用方面开辟新的途径。

Apr, 2023

近端蒸馏进化强化学习

本文提出一种新的算法 Proximal Distilled Evolutionary Reinforcement Learning (PDERL)，通过对深度神经网络进行基于学习的变异操作，弥补了简单遗传编码的缺陷，优于 Evolutionary Reinforcement Learning (ERL) 和两种现有的强化学习算法。

Jun, 2019

用简单的进化思想辅助基于梯度的强化学习

我们提出了一种简单而有效的强化学习算法，通过使用进化算子在强化学习中引入大的有向学习步骤，并使用具有共同经验缓冲区的强化学习代理人种群进行训练，从而有效地搜索策略空间。

May, 2023

进化策略梯度

该研究提出了一种元学习方法，用于学习基于梯度的加强学习算法，即演化可微损失函数，以便代理可以最小化该损失来优化其策略并获得高回报。经实证结果表明，与现成的策略梯度方法相比，所提出的演化策略梯度算法（EPG）在几个随机环境上实现了更快的学习，且其学习的损失可以推广到测试时间外的任务，并呈现出与其他流行的元学习算法截然不同的行为。

Feb, 2018

神经图进化：实现高效自动机器人设计

我们提出一种基于神经网络的图演化算法，在解决自动机器人设计中的组合问题和评估困难问题方面具有优越性能。与以往方法不同，我们使用图神经网络对控制策略进行参数化，同时运用包含模型不确定性的图突变技术，在探索与开发之间达到平衡，从而在单一机器上一天之内高效地解决搜索问题。

Jun, 2019

基因强化优化计算图的遗传算法学习

本文提出一种深度强化学习方法，以最小化优化器中神经网络计算图的执行成本。该方法通过离线训练优化器，然后推广到以前未见过的图形，以避免在同一图形上进行更多的训练。通过比较广泛的基线，我们的方法在运行时间和峰值内存使用量上比经典和其他基于学习的方法都取得了显着的改进。

May, 2019

图神经网络的进化架构搜索

本研究提出了一种新的自动化机器学习（AutoML）框架，通过演化图神经网络（GNN）模型来寻找最合适的结构和学习参数，并在半监督和归纳式节点表示学习和分类任务上展示它的性能。

Sep, 2020

演化强化学习的合作协同进化

本文提出了一种新颖的合作共进化强化学习（CoERL）算法，旨在解决高维度神经网络优化效率问题，通过将策略优化问题分解为多个子问题并进化各个子问题的神经网络种群，使用部分梯度来更新策略，以提高采样效率。在六个基准运动任务上的实验表明，CoERL 优于七种最先进的算法和基准模型，并通过消融研究验证了 CoERL 核心要素的独特贡献。

Apr, 2024