SIRL：基于相似性的隐式表示学习

Jan, 2023

SIRL: Similarity-based Implicit Representation Learning

Andreea Bobu, Yi Liu, Rohin Shah, Daniel S. Brown, Anca D. Dragan

TL;DR从人们定义的相似度中学习表示使机器人能够识别和隔离人们实际关心和使用的因果特征，从而更好地学习他们的喜好和目标。在模拟和用户研究中，我们证明通过这种相似度查询学习可以比自我监督和任务输入等传统的表示学习方法得到更具有一般性的表示。

Abstract

When robots learn reward functions using high capacity models that take raw state directly as input, they need to both learn a representation for what matters in the task -- the task ``features" -- as well as how to combine these features into a single objective. If they try to do both

robot learning reward functions representation learning similarity queries generalization

发现论文，激发创造

强化学习中基于对比行为相似性的嵌入用于泛化

该研究旨在提出一种基于顺序结构的强化学习方法来提高泛化能力，引入一种理论动机的策略相似度测量标准以及对比度表示学习方法，能够测量和嵌入任何状态相似度测量标准，从而达到改善类似于包含虚假相关性的 LQR、从像素到跳跃的任务以及 Distracting DM 控制套件等不同基准下的泛化效果。

Jan, 2021

控制问题的状态表示学习综述

综述了最近几年在机器人控制任务中，涉及环境交互的各种状态表示学习方法及其应用，并重点介绍了这些算法如何利用通用学习目标。最后，讨论了评估方法以评估所学习的表示，并总结了现有和未来的研究方向。

Feb, 2018

机器人和人类表示的对齐

本文调查了当前大部分奖励和模仿学习方法的机器人任务表示与人类任务表示不匹配的问题，并主张应该将机器人学习任务的表示与人类对齐，以及从定义问题的数学角度出发研究机器人物理表示学习。

Feb, 2023

表征至关重要：提高机器人感知和探索能力

本文在三个机器人任务中系统评估了多种常见的学习和手工工程化表示方法，并从三个方面对每种表现方法进行评估，即维度，可观测性和分离度，发现在输入代理或作为辅助任务的情况下，可以显著提高性能，并挑战了什么是控制机器人 ' 好' 表示的见解。

Nov, 2020

特征扩张奖励学习：重新思考人类输入

本文提出了一种人与机器人交互的新方式，通过以人类指导机器人从高表达特征的状态到不表达该特征的状态的方法来学习机器人掌握的特征，然后将其集成到奖励函数中，大大降低了样本复杂度并提高了奖励的泛化性能。

Jun, 2020

模仿任务的表征学习的实证研究

研究了基于模块化框架的表示学习算法在模仿学习中的应用，发现对于基于图像的模仿学习，在多个环境套件中，现有的表示学习算法相对于图像增强的精心调整的基准测试提供的价值有限，并对此结果进行了解释。

May, 2022

学习不带重建的强化学习不变表示

研究如何利用表示学习加速深度强化学习，学习能够为任务控制提供有效的潜在表示并具有与任务无关的不变性的表示方法，使用双模拟量度量在连续 MDP 状态之间的行为相似度，学习出能够仅编码来自观测的任务相关信息的健壮潜在表示，该方法通过训练编码器使潜在空间的距离等于状态空间中的双模拟距离，并在修改版的可视化 MuJoCo 任务中证明了其成功地去除任务无关信息且达到了先进技术的表现，测试了第一人称高速公路驾驶任务，其中方法学习了对云、天气和时间的不变性，最后提供了从双模拟度量的属性推导的泛化结果和与因果推断的联系。

Jun, 2020

任务诱导的表示学习

本研究评估表征学习方法在视觉复杂环境下决策制定中的有效性，并发现任务诱导的表征学习方法可以提高样本效率和学习效率。

Apr, 2022

基于推断的后继映射进行更好的迁移学习

我们提出了一种算法来解决多任务学习中的转移问题，该算法结合了因子化表示和非参数、基于记忆的方法，并利用后继表示法来提高转移能力和性能表现。同时，该算法提供了一个更好的神经生物学模型来解释海马体区域的空间编码特征。

Jun, 2019

通过学习特征诱导奖励学习中的结构

本研究探究了奖励学习在机器人自适应行为学习中的应用，结合人类输入实现对特征的分步学习，并应用于机器人操作中。该方法在提高奖励学习效率和推广性方面优于传统的奖励学习方法。

Jan, 2022