Oct, 2022

交互级别辅助对比任务的学生建模方法用于知识追踪和辍学预测

PDF
TL;DR本研究提出了一种新的学生建模框架 SAICL：使用辅助交互级对比学习的学生建模，可以利用自监督和监督的交互级对比目标，不受数据增强方法的限制，在不损失推理成本的情况下实现了与其他最先进模型可比拟的知识追踪和退学预测性能。
knowledge tracingdropout predictionstudent modelingcontrastive learningtemporal context
发现论文，激发创造
  • 解耦对比学习

    本文提出了解决自监督对比学习中的批处理大小等参数问题的一种简单有效的基准方法（DCL），并对其进行了在多种基准测试中的复现和实时检验，最终实现了较少受亚优化超参数影响且性能不错的对比学习方法。

    Oct, 2021

  • 自然语言推理的对偶级别监督对比学习

    本文提出一种基于对偶句子级别的监督对比学习（PairSCL）方法，采用交叉注意力机制学习句子对的联合表示，并使用对比学习目标来区分不同类别的句子对，在两个公共 NLI 数据集上，PairSCL 的准确性平均优于其他方法 2.1％，并在文本分类的七个转移任务上超过了先前的最新方法。

    Jan, 2022

  • 无偏差高效的自监督增量对比学习

    本文提出了一种自我监督的增量对比学习框架 (ICL)，采用增量信息 NCE 损失函数和深度强化学习率 (meta-optimization with LRL)，从而避免了必须重训练的缺点，并在不同领域的广泛实验中取得了 16.7 倍的训练加速和 16.8 倍快速收敛的竞争性结果。

    Jan, 2023

  • 基于结构化注意力的上下文演示规模化

    提出了一个用于上下文学习的更好的架构设计 SAICL（Structured Attention for In-Context Learning），该架构通过将全注意力替换为专为上下文学习设计的结构化注意力机制，并消除个体示范之间的不必要依赖性，同时使模型对示范的排列具有不变性。在元训练框架中评估 SAICL，并显示出与全注意力相当或更好的性能，同时获得最多 3.4 倍的推理加速。SAICL 还始终优于每个示范独立处理的强基线 Fusion-in-Decoder（FiD）。最后，由于其线性特性，我们证明 SAICL 可以轻松扩展到数百个示范，并实现连续的性能增益。

    Jul, 2023

  • 上下文对比学习用于事件因果性鉴别

    该研究通过采用对比学习方法，利用正负样本来增强事件因果性识别的有效性，并应用于事件配对以更好地促进事件因果性识别，并在包括 EventStoryLine 和 Causal-TimeBank 在内的广泛使用的语料库上进行了评估，结果显示在最先进算法上有显著的性能提升。

    May, 2024

  • 面向会话推荐的自对比学习

    本研究提出自我对比学习算法，并将其应用于会话推荐问题中，以优化物品表示空间的均匀度和减少模型复杂度，进而实现比之前的算法更好的预测性能。研究证明，该算法不需要额外的采样和数据增强操作，并在三个基准数据集上得到了统计上显著的性能提升。

    Jun, 2023

  • 元语义正则化的干预对比学习

    本文提出了一种利用结构因果模型和干预对抗学习方法解决影响模型学习语义信息的背景干扰问题，可应用于各种现有对抗学习方法中，并在多个基准数据集上显著提高性能。

    Jun, 2022

  • 一种多级有监督对比学习框架用于低资源自然语言推断

    本文提出了一种多级有监督对比学习框架 MultiSCL，该框架使用句子级和对级对比学习目标，在低资源自然语言推理任务中区分不同分类的句对。MultiSCL 采用数据增强模块和交叉注意力模块来获取对级表示，经实验证明，在低资源设置中，MultiSCL 的准确率比其他模型平均高 3.1％，且在文本分类的跨域任务中优于以前的最新方法。

    May, 2022

  • 时间序列预测中构成良好对比学习的因素是什么？

    本文通过系统分析不同的自监督对比学习策略及变量间的相互作用，发现使用 Transformer 模型综合优化 Mean Squared Error (MSE) 损失和自监督对比学习 (SSCL) 是进行时间序列预测的最有效的方法，并可优化预测结果的准确性。

    Jun, 2023

  • 预训练语言模型微调的监督对比学习

    通过构建 SCL 算法，并将其应用到先前基于 RoBERTa-Large 模型的建议中，提出了一种新的有监督对比学习优化目标，用于自然语言理解任务的微调，在少样本学习设置下，相比于传统 CE 损失函数，该方法在多个数据集上均有显著的改进，可以更好地处理数据噪音并更好地推广至相关任务。

    Nov, 2020