Dec, 2023

增强断言少样本学习：为大型语言模型生成教育性解释的指导技术

PDF
TL;DR利用大型语言模型的少样本学习能力，我们提出了一种新颖的提示技术，即增强断言的少样本学习，以促进准确、详细的教育解释的生成。通过对 12 名在职教师的比较研究，我们证明了增强断言的少样本学习在解释准确性上提高了 15％，并且得到了教师评价中更高质量的解释。我们还进行了定性消融研究，以考察断言对生成感兴趣领域解释的影响，从而为教育者提供友好的提示指南。
发现论文，激发创造
  • 基于少样本学习的蕴涵推理

    本研究提出了一种名为 EFL 的新方法，将潜在的自然语言处理任务重新表述为蕴含任务，并在少至 8 个样例的情况下微调模型，进而证明该方法可以自然地与无监督对比学习数据增强方法相结合，易于扩展为多语言少样本学习，并在 18 个标准 NLP 任务上进行了系统评估，表明该方法将现有 SOTA 少样本学习方法的性能提高了 12％，在相同数据量下，可以达到与 GPT-3 相近的少样本性能

    Apr, 2021

  • 元认知强化的正向强化少样本提示

    通过元认知和正反馈指导，提高大型语言模型的少样本学习，在分类准确率和宏 F1 方面超过传统的少样本提示。

    Dec, 2023

  • 使用指令微调语言模型的自动化少样本分类

    通过使用指导微调的语言模型，构建了一个用于 few-shot 学习的方法，名为 AuT-Few，该方法可以自动选择适合的任务指令，并实现了较强的 prompt 稳健性和良好的分类性能。

    May, 2023

  • 自然语言提示下的小样本自我合理化

    本文介绍了一种适用于 NLP 系统的自我合理化模型，并通过使用 FEB 数据集探索了几种自然语言提示方法和缩放模型大小的方法，以达到在少量示例下进行自我合理化的目的，但该任务的合理性仍有改进的空间。

    Nov, 2021

  • Few-shot 合理化自我训练：教师解释帮助学生进行 Few-shot NLU

    利用自训练语言模型进行多任务教师 - 学生框架，在有限的任务特定标签和理由下，通过精心选择样本学习信息伪标签示例以及明确合理化预测的特征，显著提高了神经模型的性能，特别在低资源环境中表现出有效性。

    Sep, 2021

  • 利用大型语言模型为人类导师提供解释性反馈

    研究表明，学习者参与制作解释以支持他们的推理过程，对学习有积极影响。本文介绍了两种方法，可供教师在在线课程中提供实时反馈，并介绍了采用大型语言模型促进的命名实体识别的增强方法的进展。

    Jun, 2023

  • FLamE: 自然语言说明下的小样本学习

    提出了一种基于 GPT-3 生成自然语言解释并使用 RoBERTa 进行微调的两阶段 Few-shot 学习框架 FLamE，可以显著提高自然语言推理的准确性，但生成的解释并不能很好地说明分类决策，并指出标签特定的提示在生成的解释中起着重要作用。

    Jun, 2023

  • 预训练语言模型为什么比零 / 少样本学习者更好？

    本文提出了一种理论框架，以解释在零 / 少样本场景下提示学习的功效，我们进一步假设语言差异可以衡量提示的质量，并且通过基于 perplexity 的注释无关模板选择方法，使我们能够提前预测提示性能。

    Sep, 2022

  • 双师自学习的少样本理由生成

    本文介绍了一种自我训练方法，利用有标记和无标记数据进一步改进少样本模型的效果，并提出了一种新的损失函数 Masked Label Regularization（MLR），以促进解释与预测标签之间的紧密联系。在三个公共数据集上的评估表明，所提出的方法在建模任务标签和生成忠实的解释方面是有效的。

    Jun, 2023

  • 可解释的少样本知识追踪

    基于大型语言模型的认知引导框架可在少量学生记录的情况下追踪学生的知识，并提供自然语言解释。实验结果显示，大型语言模型可与竞争性深度知识追踪方法相当或更优。

    May, 2024