- CIMRL: 结合仿真与强化学习的安全自动驾驶
通过整合模仿学习和强化学习的方法,我们提出了一种能够在模拟环境中训练驾驶策略的框架,通过利用模仿运动先验和安全约束来改善纯克隆方法的闭环行为。结合强化学习和模仿学习,我们展示了我们的方法在闭环模拟驾驶基准测试中取得了最新的成果。
- 安全评论引导的强化学习系统修复
使用反例引导的修复算法通过梯度受限优化来修复强化学习系统中的安全缺陷,包括修复强化学习代理和安全评论家。
- ICML安全强化学习的一致性可行性表征学习
在安全强化学习领域,通过结合表示学习和可行性导向目标,我们引入了一种名为 Feasibility Consistent Safe Reinforcement Learning(FCSRL)的新框架,以从原始状态中提取与安全相关的信息从而增强 - 无伤害:一种针对安全强化学习的对比方法
通过对学习策略与默认的安全策略进行比较,我们提出了一种对反事实伤害进行约束的方法,在考虑不确定性和复杂环境表示的基础上实现了学习更安全策略的目的。
- IJCAIConstrainedZero: 基于学习的概率性失败代理和自适应安全约束的机会约束的 POMDP 规划
在不确定环境中安全规划时,智能体需在效用和安全限制之间进行平衡。本研究提出了基于信念空间的 ConstrainedZero 政策迭代算法,通过学习神经网络近似的最优值和策略,并引入了额外的网络头来估计置信度下的失败概率,以指导在线蒙特卡洛树 - 约束流形上的安全强化学习:理论与应用
将基于学习的技术,特别是强化学习,整合到机器人技术中来解决非结构化环境中的复杂问题很具有前景。本文展示了我们如何以原则性的方式将复杂的安全约束强加于基于学习的机器人系统中,从理论和实践的角度进行了展示。
- 行为树实现对语言模型代理的结构化编程
使用行为树结合语言模型与经典人工智能和传统编程,本文介绍了一种用于编程语言模型代理的 Python 库 Dendron,并通过三个案例研究展示了该方法。
- 安全可靠的 LLM 检测器:实施、应用和局限性
为了应对大规模语言模型的各种风险以及提供有效的人工智能治理,我们致力于创建和应用一套迅速、可靠的检测器模型,旨在识别各种有害输出,并探讨了其发展中的挑战和未来工作。
- 基于采样的安全强化学习在非线性动力系统中的应用
我们开发了一种可证明安全和收敛的非线性动态系统控制的强化学习算法,填补了控制理论的强安全性保证和强化学习理论的收敛保证之间的差距。我们的方法通过单阶段的基于采样的方式,在学习过程和实际应用中满足硬约束条件,同时享有经典的收敛保证,我们在仿真 - 高效计算的高斯过程在主动学习中的安全界限
基于自适应采样的高斯过程后验中极值中位数的可证明安全边界为活动学习提供了有效的安全约束,以便在物理系统中进行设计空间的探索。
- 在受限马尔可夫决策过程中的真正无悔学习
本文提出了一种基于正则化原始对偶方案的模型为基础的算法,用于学习未知的多约束 CMDP,并证明了该算法在没有误差抵消的情况下能够实现亚线性遗憾。
- 基于高斯过程的安全主动学习用于时间序列建模
通过使用高斯过程和非线性外部输入结构在考虑给定安全约束条件的情况下,活跃地学习时间序列模型,使用动态探索输入空间生成适用于时间序列模型学习的数据,然后通过逐步确定安全要求和过去观察结果来对输入轨迹进行参数化分析,并在技术应用中进行实证评估, - 仿真机器人臂的安全强化学习
通过在 Panda 机械臂创建自定义环境,扩展安全强化学习算法的适用性,并通过与基准版本的比较表明,在满足安全约束条件的同时,受限版本能够学习到同样好的策略,但需要更长的训练时间。
- 强化学习在具有轨迹优化的安全嵌入式马尔可夫决策过程中的应用
这项研究将强化学习与轨迹优化相结合,以管理最大化奖励与遵守安全约束之间的权衡,并在安全性出发推理阶段取得显著高奖励和几乎零安全违规的性能,通过在真实机器人任务中将盒子推动穿越障碍物来展示了该方法的实际应用性。
- 强化学习中的安全探索:广义形式与算法
在本篇论文中,我们提出了一个名为广义安全探索(GSE)的问题,并使用元算法 MASE 解决了这个问题,该算法结合了无限制的强化学习算法和不确定性量化器,以确保当前回合的安全性,同时在实际安全违规之前对不安全的探索进行适当的惩罚,以防止它们在 - 安全芯片插入:强制 LLM 驱动的机器人代理遵守限制
利用大型语言模型(LLM)所提供的世界知识和普遍推理能力,我们提出了一种基于线性时态逻辑(LTL)的可查询安全约束模块,用于在协作环境中部署 LLM 代理,并通过自然语言到时态约束编码、安全违规推理、不安全行为修剪等功能,实现了显式指示禁止 - 从多任务演示中学习共享安全约束
从专家演示的安全任务完成中学习约束条件的方法扩展了逆强化学习(IRL)技术到约束空间,通过利用多任务环境中自然发生的各种演示来学习更紧密的约束条件。
- 近似基于模型的安全强化学习护盾
我们提出了近似基于模型的屏蔽算法,用于验证学习强化学习策略相对于给定安全约束的性能,与其他安全感知方法相比,在一组具有状态相关安全标签的 Atari 游戏上表现出卓越的性能。
- 自主导航中深度强化学习的安全约束评估
此研究比较了两种可学习导航策略(安全和不安全),表明安全策略能够在训练过程中生成具有更大间隙(与障碍物之间的距离)的轨迹,减少碰撞,且不影响整体性能。
- 面向离散和连续强化学习的安全任务组合
本文基于布尔组合的模式,探究了学习任务的组成安全约束方面,在间格世界中运用价值迭代、在图像观察的网络中应用 Deep Q-Network (DQN),在连续 - 观察与连续 - 行动的子弹物理环境下应用 Twin Delayed DDPG