基于强化学习的控制器从模型到硬件的迁移

Oct, 2023

基于强化学习的控制器从模型到硬件的迁移

Transfer of Reinforcement Learning-Based Controllers from Model- to Hardware-in-the-Loop

Mario Picerno, Lucas Koch, Kevin Badalian, Marius Wegener, Joschka Schaub...

TL;DR将强化学习、迁移学习和 X-in-the-Loop 模拟相结合，提高 RL 代理的训练过程速度，为嵌入式系统控制函数开发提供解决方案。

Abstract

The process of developing control functions for embedded systems is resource-, time-, and data-intensive, often resulting in sub-optimal cost and solutions approaches. reinforcement learning (RL) has great potent

reinforcement learning transfer learning x-in-the-loop simulation embedded systems control function development

发现论文，激发创造

基于数据驱动的实时高效强化学习算法的 H∞控制：应用于自动化移动出行系统

基于 Q 学习的算法解决线性离散时间系统的 H∞控制，并实现了模型无关的参数在线学习，从而将计算复杂性降低到 qu 的平方，其中 q 是状态变量、控制输入和干扰大小之和。

Sep, 2023

基于 LLM 的数字孪生优化人机交互系统

应用大型语言模型的案例研究表明，模拟复杂人口群体在大型开放空间中的行为和热偏好，并将其集成到基于增强学习的代理 - 环境闭环算法中，可以在节能和居住者舒适性之间找到平衡，从而显示出远优于传统的设定点控制策略，这表明在 CPS-IoT 应用中实现自适应和个性化决策对于高效优化至关重要。

Mar, 2024

面向参数变化系统的模型自适应强化学习控制中的样本高效迁移

本文利用模型控制的思想解决了强化学习算法的样本效率问题，并通过四个基准实例验证了其性能。

May, 2023

LExCI: 嵌入式系统的强化学习框架

在控制工程的背景下，人工智能的发展使得其应用于日常生活的许多领域。在强化学习中，RL（reinforcement learning）是一种特别有前景的方法，其核心思想是允许代理与环境自由交互以找到最佳策略。然而，传统的 RL 库很难与嵌入式硬件结合使用。本文介绍了一种名为 LExCI（Learning and Experiencing Cycle Interface）的框架，它弥合了这一差距，并为终端用户提供了一个在嵌入式系统上使用开源库 RLlib 训练代理的免费工具。通过两种最先进的 RL 算法和一种快速控制原型系统来证明其可操作性。

Dec, 2023

非抓取性操作的强化学习：从仿真到物理系统的转移

本研究使用一种修改自然策略梯度算法的模型，通过模拟学习并训练，成功将自主控制策略从虚拟系统转移到由三个机器人组成的物理系统中，并证明使用多个模型训练可以使学习到的策略更加稳健，从而弥补了系统识别的困难。

Mar, 2018

基于模型的深度强化学习加速流体模拟的学习

深度强化学习在闭环流控问题中应用模拟环境进行优化，通过模型和流模拟样本相互交替训练，有效减少流控应用中的计算时间，尤其对于复杂流模拟有着潜在的巨大节约。

Feb, 2024

闭环中学习真实交通代理

使用闭环模拟学习方法 RTR，在模拟和真实数据集中训练交通仿真策略，以提高交通规则遵守性和仿真的真实性。

Nov, 2023

数据效率的分层强化学习

本文研究如何构建通用且高效的层次强化学习算法，其中较低层的控制器通过自动学习和提出的目标来实现上级控制器的监督，并使用脱离策略的经验来提高效率。我们称此算法为 HIRO，并在模拟机器人上的实验中表现出高性能和高样本效率。

May, 2018

用于自主驾驶的联邦迁移强化学习

使用联邦学习的方法，将基于模拟器的强化学习模型实现动态的知识提取和共享，促进自动驾驶和机器人应用中的知识共享，进而在实时碰撞避免任务中实现更好的表现。

Oct, 2019

玻璃流控系统中显示转移机器人的强化学习：基于物理仿真的方法

通过深度强化学习，提出了一种在显示器制造中使用传输机器人的流控系统的优化调度方法，并通过建立虚拟环境和训练强化学习模型，验证了其可行性。

Oct, 2023