Jul, 2022

面向 MOOC 的自适应学习通用预训练框架

PDF
TL;DR本篇论文提出利用预训练技术将深度学习应用于自适应学习的实践探索，并在数据观察和学习风格分析的基础上提出了一个统一的框架。通过一系列的下游任务，如学习推荐、学习资源评估、知识跟踪和辍学预测，发现了课程结构、文本和知识对于建模和学生非连续学习行为具有帮助，源代码和数据集将公开发布。
发现论文，激发创造
  • 迈向具备预训练的持续学习通用框架

    通过使用预训练的方法，我们提出了一个通用的框架来持续学习连续到达的任务，从一个理论的角度，我们将其目标分解为三个层次的组成部分，包括任务内预测、任务标识推断和任务适应预测，并提出了一种创新的方法来显式优化这些组件，通过参数高效的微调技术和表示统计量，我们在下游连续学习中实证展示了我们方法的优越性和普遍性，并进一步探讨了在上游连续学习中应用参数高效的微调技术的可行性，同时结合神经科学中的最新进展，讨论了所提框架的生物学基础。

    Oct, 2023

  • 多模态知识发现和预训练的统一连续学习框架

    该研究提出了将多模态预训练和知识发现统一到连续学习框架中的方法，以维护知识图作为基础，同时强化模型更新的外部知识引导作用在跨模态链接识别和预训练模型两方面取得了有效结果。

    Jun, 2022

  • 基于多模态多任务学习的文档表示学习预训练框架

    本文提出了基于多任务学习和预训练技术的框架，利用文本、版面和图像的多模态信息学习通用文档表示，以支持多种下游文档任务，并在标准文档数据集上进行了广泛实验。

    Sep, 2020

  • 预训练推荐系统：因果去偏见观点

    通过训练泛域用户 - 物品交互数据，我们提出了一个适应性泛型推荐系统，该系统能够捕捉通用交互模式，并能在不同领域中快速适应以提高零样本和少样本学习性能。然而，不同领域的推荐数据存在域内和跨域偏差，我们通过引入因果去偏视角和预测模型 PreRec 有效克服了这一挑战，实证结果表明在跨市场和跨平台场景下，该模型能显著提升推荐性能。

    Oct, 2023

  • 低资源领域适应的多阶段预训练

    本文研究使用预训练语言模型的转移学习、领域特定术语扩展词汇表以及利用未标记数据结构创造辅助合成任务等方法，在 IT 领域的三个任务中，采用逐步应用的策略在预先训练的 Roberta-large LM 上显示出显着的性能提升。

    Oct, 2020

  • 关于有效地为主动学习调整预训练语言模型的重要性

    本文讨论使用预训练语言模型在自然语言处理中进行主动学习时存在的问题，并提出了使用先前所有的未标注数据来适应目标任务的解决方法，同时也提出了一种简单有效的微调方法来保证适应的语言模型在低资源和高资源情况下都能得到适当的训练，实验结果表明，相比标准的微调方法，我们的方法提供了显著的数据效率改进，这表明一个不良的训练策略可能对主动学习产生灾难性的影响。

    Apr, 2021

  • 不要停止预训练：将语言模型适应于领域和任务

    本研究通过研究不同领域和任务的分类模型，验证了在特定领域和任务上进行二次预训练（领域自适应和任务自适应预训练）可以显著提高性能，同时也发现多阶段适应预训练在任务表现上取得了大幅提升。

    Apr, 2020

  • 元学习差异性：为大型语言模型准备高效迁移

    该论文提出了一种通过学习区分微调和适应性 PLMs 的方法，使用动态低秩重参数化和学习结构控制器来实现数据和参数高效的自适应，并在对话完成、摘要生成等任务上展示出明显提升。

    Jul, 2022

  • 深度强化学习中的预训练调查

    该论文系统地评估了目前深度强化学习领域中采用的预训练方法，提出了分类体系、讨论了各个方面，并关注了未来可能遇到的挑战和需要探索的方向。

    Nov, 2022

  • UL2: 统一语言学习范式

    提出一个统一框架的预训练模型，通过 Mixture-of-Denoisers 目标函数实现不同预训练目标的整合，将不同的预训练范例结合在一起，对于多个不同领域的数据集都具有普适性，并在规模为 20B 参数下的 50 个 NLP 任务上取得了最先进的表现。

    May, 2022