Jul, 2017

教师 - 学生课程学习

PDF
TL;DR我们使用 Teacher-Student Curriculum Learning（TSCL）框架进行自动课程学习，该框架依赖于一系列的 Teacher 算法，这些算法使得学生通过选择更好的子任务进行训练，并通过解决遗忘问题来提高学习速度。我们在两个任务中展示出 TSCL 的性能优于手工设计的 curricula，其中包括了对一个 Minecraft 的迷宫进行自动解决，并且在一个数量级上更快地学习。
发现论文，激发创造
  • 通过经验的合作机制重新思考教师 - 学生课程学习

    基于教师 - 学生课程学习（TSCL）的数据中心视角和合作博弈理论，研究了 TSCL 框架中教师与学生之间的相互作用机制，揭示了经验的组合和顺序对 TSCL 课程的性能产生的影响。通过实验对监督学习、强化学习和经典游戏进行估值和构建课程，为 TSCL 的深入研究提供了新的基础，并揭示了其在机器学习中的广泛适用性。

    Apr, 2024

  • 强化学习中的师生课程学习

    提出了一种基于师生课程学习的强化学习方法，该方法独立于人类领域知识和手动课程设置，可以改善学生的样本效率和通用性。

    Oct, 2022

  • 掌握基于速率的课程学习

    这篇论文提出了一种基于掌握率的新算法，可以显著优于基于学习进展的算法，后者依赖于学习进步的概念，而这个概念本身存在多种缺陷，会导致学习者的样本效率低下。

    Aug, 2020

  • 有条件的师生学习

    通过提出一种条件性的教师 - 学生 (T/S) 学习方案，在一定程度上解决了 T/S 学习中教师模型不完美时可能会向学生模型提供错误指导的问题，而且在环境适应和说话人适应方面获得了比 T/S 学习更好的结果。

    Apr, 2019

  • 课程学习：综述

    该文介绍了如何通过课程学习来训练机器学习模型，从而提高性能和准确率，并且探讨了如何排序和引入更难的数据，同时提供了未来工作的一些方向。

    Jan, 2021

  • 神经机器翻译中课程学习的实证探索

    采用概率课程学习方法，可以在不损失翻译质量的前提下，缩短德语 - 英语翻译模型的收敛时间，但具体效果受到样本难度标准、课程表和超参数的影响。

    Nov, 2018

  • 一种用于序列标注的有效结合异构知识的课程学习

    提出了一种针对序列标注任务设计的两阶段课程学习（TCL）框架，通过逐渐引入易难的数据实例来提高性能和训练速度，以增强序列标注模型的性能，通过在六个中文分词（CWS）和词性标注（POS）数据集上的实验证明了该模型的有效性，并表明 TCL 加速了训练并缓解了复杂模型的慢训练问题。

    Feb, 2024

  • CLIMB：婴儿启发式模型构建的课程学习

    我们通过三种认知引导的课程学习变体对模型在语言评估任务上的性能进行了分析，并发现在早期训练阶段对词汇、训练实例的顺序和目标任务进行合理选择可以达到一定的改进效果。

    Nov, 2023

  • LgTS: 使用 LLM 生成的子目标进行动态任务抽样的强化学习代理

    本研究提出了一种新方法，利用大型语言模型（LLM）的规划能力，为没有环境转换动力学访问权限的强化学习代理提供子目标的图形表示，同时最小化环境交互次数。

    Oct, 2023

  • 基于模式感知的多领域对话状态跟踪中的预览、关注和回顾课程学习

    本研究介绍了一种基于课程学习和模式结构的任务导向对话框架 ——SaCLog，它已经应用于 WOZ2.0 和 MultiWOZ2.1 数据集中的 dialog state tracking，实现了比 TripPy 和 TRADE 更好的性能。

    Jun, 2021