Continual World：一个用于连续强化学习的机器人基准测试

May, 2021

Continual World：一个用于连续强化学习的机器人基准测试

Continual World: A Robotic Benchmark For Continual Reinforcement Learning

Maciej Wołczyk, Michał Zając, Razvan Pascanu, Łukasz Kuciński, Piotr Miłoś

TL;DR提出了 Continual World 基准，并进行了基于机器人任务的方法评估，该评估针对 Continual learning 中的前向迁移和 Catastrophic forgetting 进行优化，以提高方法在 RL 中的性能。

Abstract

continual learning (CL) -- the ability to continuously learn, building on previously acquired knowledge -- is a natural requirement for long-lived autonomous reinforcement learning (RL) agents. While building suc

continual learning autonomous reinforcement learning catastrophic forgetting transfer learning robotic tasks

发现论文，激发创造

机器人的持续学习：定义、框架、学习策略、机遇和挑战

这篇论文介绍了连续学习的概念和机器学习中面临的挑战，提出了在自主体或机器人中使用连续学习以适应环境和优化学习过程的方法，并介绍了现有的基准和度量标准，并提出了一种框架来评估这些方法的有效性。

Jun, 2019

自动化持续学习

通用学习系统应在不断变化的环境中以开放式方式不断改进自己。本文提出一种自动连续学习 (ACL) 的方法，通过训练自指神经网络来元学习其上下文中的连续学习算法，以解决传统神经网络学习算法中的 “上下文灾难性遗忘” 问题。ACL 有效地解决了这个问题，并且其学习到的算法表现优于手工设计的算法，在无回放设置下，在 Split-MNIST 基准测试上实现了持续学习多个少样本和标准图像分类数据集的目标。

Dec, 2023

以计算有限的强化学习为基础的持续学习

一个高效地累积知识、在长期生命周期中不断发展更复杂技能的代理机构，可以推动人工智能能力的前沿。本文概述和形式化了持续学习的概念，引入了一个框架和一套工具来激发进一步的研究。

Jul, 2023

自主机器人的持续学习：基于原型的方法

未来的自主智能机器人面临着从非重复稀疏数据流中学习、检测新颖性并具备无监督学习能力的挑战。本文通过提出一种名为 Continually Learning Prototypes (CLP) 的基于原型的方法，解决了这一挑战。CLP 在 FS-OCL 学习中表现出卓越的结果，在检测新颖性和无监督学习方面达到强基线水平。

Mar, 2024

从视频中持续进行预测学习

本文主要研究了如何在实际应用中，处理环境持续变化的情况下，进行预测学习。作者提出了 Continual Predictive Learning (CPL) 方法，并在基于 RoboNet 和 KTH 的两个新基准测试中展示了该方法在视频预测和持续学习方面的有效性。

Apr, 2022

通过人机交互进行连续学习 —— 重复互动中人类对连续学习机器人的认知

本论文研究了如何将基于连续学习模型的目标识别系统与移动机器人 Fetch 结合起来，以便使机器人能够在与人类用户的多个交互中继续学习。通过与 60 名参与者进行的实验，作者发现，如果机器人忘记了之前学过的目标，参与者对于连续学习机器人的信任、能力和可用性的感知将会明显降低。然而，进行 2-3 次教学和测试任务的任务负荷并不随会话数的增加而增加。此外，本研究发现，目前的连续学习模型在机器人与人类参与者交互时的可靠性较低。

May, 2023

从 MNIST 到 ImageNet，再回去：连续课程学习的基准测试

本研究针对机器学习中的不断学习提出了两个新的基准，该基准涉及来自六个图像数据集的多个异构任务，其目的是为了更好地评估当前最先进的 CL 策略，并显示出当前 CL 模型在真实世界场景中表现较差的能力，高水平遗忘并限制了课程任务顺序。

Mar, 2023

人体状态监测的持续学习

本文提出了两个与实际环境相似的 CL 基准，分别用于人类状态监测中，研究结果表明，由于基准具有增量属性，遗忘容易被解决，现有策略在固定测试对象上累积知识方面存在困难。

Jun, 2022

强化连续学习

本论文提出了一种称之为强化连续学习的方法，该方法通过巧妙设计的强化学习策略为每个任务搜索最佳神经架构，不仅能够在防止灾难性遗忘方面有很好的性能，还能够适应新任务。在 MNIST 和 CIFAR-100 数据集的连续分类任务实验中，该方法优于现有的深度网络连续学习替代方案。

May, 2018

语言模型的持续知识学习

本文提出了一种新的连续学习问题 —— 连续知识学习，并构建了一个新的数据集和指标，用于衡量时间不变世界知识的保留，过时知识的更新和新知识的获取。通过实验发现，该问题的关键在于对抗知识遗忘和参数扩展，因此对于更好地维护不断变化的大型语言模型非常重要。

Oct, 2021