ACLJun, 2023

读了说明书吗？重新思考指导学习中任务定义的有效性

PDF
TL;DR该研究使用人工注释的消融分析方法研究任务定义在指令学习中的作用，并提出两种策略以帮助大型语言模型更好地利用任务指令，包括提供以常见结构化格式呈现关键信息的任务，并添加一个元调整阶段，以帮助模型更好地理解定义。应用这两种策略，在 119 个未见过的测试任务中取得了 4.2 Rouge-L 的提高。
large language modelsinstruction learningtask definitionsmeta-tuningrouge-l
发现论文，激发创造
  • Prompt All You Need？并不是。指令学习的全面和更广泛的视角

    此篇综述分析了自然语言处理中基于任务指导的学习，包括任务指导的含义、类型、建模方法、影响因素、表现和挑战。此外，该文是第一次关于文本指导的全面综述。

    Mar, 2023

  • 从任务说明中学习的鲁棒性

    本研究探讨了新任务指令被恶意篡改、改写或来自不同书面表达程度时，基于预训练语言模型的监督系统的稳健性。

    Dec, 2022

  • 学习任务描述

    本文介绍了一种针对自然语言处理系统的新框架和英语语言数据集 ZEST，用于评估系统的任务解决能力和系统化泛化类型的测试。最新的 T5 模型在 ZEST 数据集上达到 12％的得分，为 NLP 研究者留下了一个巨大的挑战。

    Nov, 2020

  • 通过自然语言众包指导实现跨任务的推广

    通过理解人类可读的指令来学习新任务的挑战一直是人工智能领域的难题，本文基于自然指令数据集通过使用生成式预训练语言模型对任务特定指令进行编码和输出生成，研究横向任务泛化并发现模型在使用指令时对于未见过的任务泛化更好，但与认为上限还存在显著改进空间。

    Apr, 2021

  • 大型语言模型对指令的稳健性评估

    指令微调方法能够增强大型语言模型在未知任务上的零样本功能，并对其性能和稳健性进行了评估，发现在处理陌生指令时性能显著下降，而对于关系抽取指令的稳健性较问答指令更差。

    Aug, 2023

  • 指令归纳：从少量样本到自然语言任务描述

    该研究论文证明使用 in-context learning 可让大型语言模型显式推断潜在任务，通过自然语言生成指令，InstructGPT 的表现达到了人类的 65.7％，建议指令感应可能是一种学习范例。

    May, 2022

  • 模型是否真的学会遵循指令？一项关于指令调整的经验研究

    本文分析了模型在指令调优过程中如何利用指令，并对比了模型在不同指令下的表现。结果显示，指令调优的表现提升可以来自学习表面模式，例如识别输出格式和猜测。因此，本研究提出了迫切需要更加可靠的指令调优方法和评估。

    May, 2023

  • 你真的跟随我吗？评估大型语言模型的稳健性的对抗性指令

    通过实验，我们揭示了先进的指令跟踪模型在抵御对抗性指令攻击方面的显著局限性，并且发现了指令调优模型容易过拟合于输入的指令短语而无法真正理解应该遵循哪些指令的问题。这突出了训练模型理解提示而非仅仅遵循指令短语并完成文本的挑战。

    Aug, 2023

  • 超自然说明：通过对超过 1600 个自然语言处理任务提出声明性说明来实现泛化

    本文首先引入了 Super-NaturalInstructions, 一个包含 1616 个不同类型的 NLP 任务及其指令的跨任务基准，通过构建 Tk-Instruct 模型，能够在超过九个百分点的水平上优于目前现存的模型，并对不同的模型参数进行了进一步的分析以期实现更通用的 NLP 模型。

    Apr, 2022

  • 图灵测试：语言模型是否理解指令？

    本文介绍 Turking Test 模型，旨在检验模型理解不同复杂度任务的自然语言指令的能力。通过对模型错误模式的分析，作者发现大型预训练语言模型的性能表现较差，但指令理解本身具有广泛应用前景。

    Oct, 2020