Jan, 2024

基于 Transformer 基础模型的课程推荐：采用 InfoNCE 损失和语言切换方法

PDF
TL;DR通过采用 Transformer Base Model 来增强计算效能、实现 InfoNCE Loss 以进行准确的内容 - 主题匹配，并采用语言切换策略以消除与翻译相关的歧义，这一研究提出的 Curriculum Recommendations 范式致力于克服课程开发领域不断演变中存在的教育技术和课程开发的不平等问题，以实现平等的学习体验。
curriculum recommendationseducational technologycontent conflictspersonalized learninglanguage translation
发现论文，激发创造
  • 语言建模的课程学习

    本研究探讨了使用语言学课程学习法对语言模型预训练的效果，并且在 GLUE 基准测试中评估了转移性能，结果显示我们并未找到令人信服的证据表明课程学习方法可以改善语言模型训练。

    Aug, 2021

  • 神经机器翻译中课程学习的实证探索

    采用概率课程学习方法，可以在不损失翻译质量的前提下，缩短德语 - 英语翻译模型的收敛时间，但具体效果受到样本难度标准、课程表和超参数的影响。

    Nov, 2018

  • 语言模型预训练的不可简化课程

    提出了一种用于大型语言模型预训练的不可约课程算法，通过模拟训练轨迹中的样本损失，以提高学习性，实验证明在各个领域中都能提高验证困惑度，并且降低网络的尖锐度，在 MMLU 基准上表现出更好的 5-shot 准确度。

    Oct, 2023

  • 面向端到端英日语音翻译的基于结构的课程学习

    本文研究了针对词序排序问题的不同语言之间的语音翻译的端到端任务。通过提出基于结构的课程学习策略，从简单到复杂的网络结构，引导编码器 - 解码器注意力模型学习这个困难的问题，结果表明与未进行课程学习的方法相比，该方法可以提供显着的改进。

    Feb, 2018

  • 基于课程指导的抽象摘要

    本文提出两个方法以弥补 Transformer-based summarization 模型在内容选择方面表现不佳和训练策略效率不高的缺陷，使得模型可以更好的理解要点，同时引入课程学习的方法提高了训练速度和质量，并用 Reddit TIFU 数据集和其他三个跨领域总结测量我们的模型的有效性，同时进行了人类评估表明所提出的方法在流畅性、信息量和整体质量等质量标准上具有良好的效果。

    Feb, 2023

  • 句子编码任务的课程迁移学习

    通过数据操纵和语法分析引导的一系列预训练步骤（课程），在源任务与目标任务分布漂移时实现进一步逐步适应，相较于其他已知的预训练方法，在 MultiWoZ 任务方面取得了显著的改进。

    Aug, 2023

  • 基于强化学习的神经机器翻译课程优化

    本研究运用强化学习方法，实现神经机器翻译中异质训练数据的有效生成和利用，提出课程学习框架，相比于传统方法，该方法展现出更好的表现和更强的数据泛化能力。

    Feb, 2019

  • 多语言原型模型在自然语言理解任务中的跨语言可迁移性研究

    本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 meta-learning 的能力。

    Jul, 2022

  • CLIMB：婴儿启发式模型构建的课程学习

    我们通过三种认知引导的课程学习变体对模型在语言评估任务上的性能进行了分析，并发现在早期训练阶段对词汇、训练实例的顺序和目标任务进行合理选择可以达到一定的改进效果。

    Nov, 2023

  • 神经机器翻译中领域自适应的课程学习

    介绍了一种课程学习方法，将通用的神经机器翻译模型适应于特定领域，实验结果表明，在两个领域和两种语言对中，该方法始终优于基准模型。

    May, 2019