Nov, 2023

多任务模仿学习中表示转移的统计保证

PDF
TL;DR通过多任务模仿学习的表征转移，可以比从零开始学习新任务更加高效地利用样本。本文提供了一个统计保证，表明在使用足够多样的源任务训练表征时，我们确实可以提高目标任务的样本利用效率。我们的理论结果可以轻松扩展到基于现实假设的常用神经网络结构。通过符合我们理论结果的实证分析，我们在四个模拟环境中得出结论：特别是更多地利用源任务的数据可以提高学习新任务的样本利用效率。
multitask imitation learningrepresentation transfersample efficiencyneural network architecturesempirical analyses
发现论文，激发创造
  • 强化学习中表征转移的可证明收益

    本研究探讨了强化学习中的表征传递问题，提出了一种基于预训练和生成访问的新方法，可以帮助在源任务中发现一个共享表征来快速收敛到一个接近最优策略的目标任务中。

    May, 2022

  • 迁移学习理论：任务多样性的重要性

    本文通过学习不同任务之间共享的特征表示来实现迁移学习，并提出了对于不同任务的样本复杂性的新的理论保证，讨论了任务的多样性和高斯复杂度的新颖链式规则，并应用于几个现今流行的模型。

    Jun, 2020

  • 多任务表示学习的好处

    讨论了一般从多个任务中学习数据表示的方法，并在多任务学习和学习到学习的两种情况下对此方法进行了理论上的证明。我们通过线性特征学习的特例对方法进行详细说明，并建立起多任务表示学习在独立任务学习上的理论优势的条件，特别是针对重要的半空间学习的例子，我们推导出了多任务表示学习在独立任务学习上的优势随样本数量、任务数量和固有数据维度的函数关系，其他潜在应用包括在再现核希尔伯特空间和多层深度网络中进行多任务特征学习。

    May, 2015

  • 多任务强化学习的样本复杂度

    介绍了一种新的多任务算法用于强化学习任务，该算法显着减少了探索的每个任务的样本复杂性，并保证不会出现负转移，与对应的单任务算法相比具有可比性。

    Sep, 2013

  • 活跃的多任务表示学习

    本文提出了一种基于主动学习技术的算法，用于估计每个源任务与目标任务的相关性并进行采样，以便更好地利用大数据源任务的力量并克服目标任务样本的稀缺性，并证明了在线性表示类上使用我们的算法可以在相同错误率下节省源任务采样复杂度。同时，作者通过实验结果显示了该方法在真实的计算机视觉数据集上的有效性。

    Feb, 2022

  • 通过多任务表示学习理论改进少样本学习

    本文考虑多任务表示学习的框架，总结最近的研究进展，指出基于梯度和基于度量的算法在实践中的根本差异并通过新的基于光谱的正则项改进元学习方法进行实验，以实现 few-shot 分类任务。

    Oct, 2020

  • 任务迁移学习中可迁移性的信息论方法

    本文提出了一个评估跨任务表示学习有效性的 H-score 度量方式，可以对在分类问题中从一个任务传递到另一个任务的表示的性能进行评估。使用实际图像数据进行的实验表明，该评价标准不仅与经验传递度量一致，而且在源模型选择和任务转移课程学习等应用中也非常有用。

    Dec, 2022

  • 多任务深度强化学习中的知识共享

    我们研究了在多任务强化学习中共享表示的益处，以实现深度神经网络的有效使用。我们利用从不同任务中学习、分享共同特性的假设，有助于推广知识，从而比学习单个任务更有效地进行特征提取。通过在广泛使用的强化学习基准上进行实证评估，我们提出了三种强化学习算法的多任务扩展，并证明了在样本效率和性能方面相较于单任务具有显著改进。

    Jan, 2024

  • 离线多任务转移强化学习与表示惩罚

    我们研究了离线强化学习中的表示转移问题，提出了一种算法来计算学习表示的点态不确定性度量，并通过扩展数据的数据依赖上界证明了针对目标任务的学习策略的次优性。我们的算法利用源任务的集体探索来解决现有离线算法在一些点上覆盖不足的问题，并在需要完全覆盖的富观测马尔可夫决策过程上进行了实证评估，展示了惩罚和量化学习表示中的不确定性的益处。

    Feb, 2024

  • 对话理解中基于数据效率的数据集内任务迁移探索

    本研究探讨了在对话领域中，基于顺序迁移学习的多少目标任务训练数据会对模型性能和数据效率产生何种影响。研究结果表明，在许多情况下，与没有迁移学习的相同模型相比，目标任务的训练数据大小对顺序迁移学习的表现几乎没有影响。这一出人意料的结果可能是灾难性遗忘效应的影响，进一步的工作需要研究如何避免这种遗忘。

    Oct, 2022