Nov, 2023

线性行为克隆智能体的最佳教学

HTML
PDF
TL;DR我们研究了Linear Behavior Cloning（LBC）学习者的最佳教学方法。我们提出了一种名为“Teach using Iterative Elimination（TIE）”的教学算法，它实现了最佳的教学维度。然而，我们也证明了寻找最佳教学集是NP难问题，因此我们提供了一个近似算法保证了教学维度的近似比为log(|A|-1)。最后，我们提供了实验结果来验证我们算法的效率和效果。
发现论文，激发创造
  • 序贯决策环境中的动态教学

    在一个连续的决策环境中，我们描述了教授模型的理论界限和实用算法。我们聚焦于决策者作为一位决策者而不是一位观察策略的老师优化学习者的之前努力，并提出了几个基于先前定义的监督规程的教学框架，例如教学维度，并将它们扩展到处理在MDP中遇到的噪声和输入序列。同时，我们还提供了在这种情况下几个重要的模型类的可学性上的理论界限，并建议一个动态教学的实用算法。

    Oct, 2012

  • 线性学习器的教学维度

    本文提出了岭回归、支持向量机和逻辑回归的教学维度，并展示了匹配这些教学维度的最佳训练集。

    Dec, 2015

  • 逆强化学习的机器教学：算法与应用

    该研究提出了一种基于机器教学的逆强化学习方法，利用最小数量的演示数据来学习策略并提高泛化性能。同时，还发展了一个新的学习方法，在一些应用中可以从信息丰富的演示数据中更加高效地学习到奖励函数。

    May, 2018

  • 模仿学习方法的差异最小化视角

    本文提出了一种基于分歧最小化的Imitation Learning方法，即$f$-MAX，将IRL方法如GAIL和AIRL联系起来并揭示了它们的算法特性，通过期望最大化演算法来教授机器人在推手环境中进行多样化的行为。

    Nov, 2019

  • 基于参数化专家的高效学习数据增强

    本研究提出了一种名为增强型策略克隆（APC）的技术，通过使用合成状态在采样轨迹周围诱导反馈敏感性，从而显着减少了克隆专家所需的环境交互次数，实现了从专家到学生策略的高效数据迁移，适用于许多现有的算法。

    May, 2022

  • 带有不完美在线演示的保护策略优化

    本文介绍了一种名为 Teacher-Student Shared Control (TS2C) 的离线增强学习算法，该算法基于轨迹价值估计，在保证安全性的同时，有效地控制了探索过程并成功地将不同性能水平的教师智能体纳入学生智能体的训练。

    Mar, 2023

  • TGRL：一种教师引导增强学习算法

    通过权衡强化学习和师生学习目标的重要性，我们提出了一种有原则的方法，实现了在何时遵循教师和何时使用奖励进行动态自动平衡，这种方法名为‘教师引导强化学习’（TGRL），无需超参数调整在不同领域都能超越强基线。

    Jul, 2023

  • 一份ACT戏剧表演：单一演示行为克隆与行动分块变压器

    使用行为克隆从单个人类示范中学习任务，通过使用线性变换增强单个示范来生成一系列初始条件广泛变化的轨迹，从而成功训练行为克隆智能体完成三个方块操作任务，并通过在推断期间将行动预测的标准差纳入集成方法中，使方法对环境中的意外变化更加稳健，从而实现了显著的性能提升。

    Sep, 2023

  • 演示调整的强化学习

    利用专家演示来改善强化学习的样本效率，本研究量化了额外信息在降低样本复杂度方面的理论效果，并证明了KL-正则化方法在处理人类反馈强化学习中的优势。

    Oct, 2023

  • 学习教学：提高师生学习中的样本效率，用于模拟到真实场景的迁移

    模拟到现实的迁移是机器人学习的一个基本问题，本文提出了一种学习框架，通过引入师生学习范式和样本高效性，解决了培训中噪声观测造成的困难，实现了模拟环境下机器人的高性能表现。

    Feb, 2024