Sep, 2023

通过隐式推理理解语言模型中的灾难性遗忘

PDF
TL;DR微调语言模型会在特定任务上产生性能提升，但对其他任务可能造成能力抑制。为了恢复预训练能力，通过对任务进行翻译使其远离语言模型微调分布，发现可以恢复上下文学习能力，并使聊天机器人生成有害内容。
fine-tuninglanguage modelstask inferenceconjugate promptingtranslation
发现论文，激发创造
  • Few-shot 基于提示微调中避免推断启发式方法

    本文研究表明，在句子对分类任务中，虽然预训练语言模型提供了低数据环境下的优势，但基于提示的微调模型仍然存在使用基于词汇重叠的推理启发式的共同缺陷，加入保留预训练权重的正则化可以缓解这种破坏性的微调倾向，并在三个挑战数据集上显示了可预期的改进。

    Sep, 2021

  • 通过因果推断保留预训练语言模型中的常识知识

    通过在因果图上探索，本文发现灾难性遗忘的关键在于缺失来自预训练数据的因果影响，提出了一种统一的微调目标以恢复因果关系，将该方法实现在常识 QA 上的结果表明其有效性。

    Jun, 2023

  • 超级提示：利用模型无关的语境数据减少视觉常识任务中的数据注释需求

    本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。

    Apr, 2022

  • 通过有针对性的微调揭示神经模型中基于约束的行为

    本文研究了大型预训练语言模型中内嵌的语言知识，并探索了同时存在的竞争性语言过程如何影响模型行为。通过对四种语言中的一个现象进行实验，发现模型行为存在跨语言差异。而有针对性的微调可以重新建立学习的约束，揭示模型中否则未表现出的语言知识。

    Jun, 2021

  • 通过指令向量进行大规模语言模型精调的可解释性灾难性遗忘

    通过考察模型对知识理解和指令跟踪的影响，本文揭示了大语言模型在微调过程中遗忘的内在机制，并以指令向量（IV）框架为基础，提出了 IV 引导训练的方法，以缓解灾难性遗忘。实证测试表明这种新方法的有效性，支持 IV 与遗忘之间的关系。

    Jun, 2024

  • POUF: 面向提示的无监督微调大规模预训练模型

    本研究提出一种无监督的精调框架，用于快速和直接地向未标记的目标数据进行深度学习模型的预训练，并在图像分类、情感分析和自然语言推理任务中实现了持续的改进。

    Apr, 2023

  • Prompt-Tuning 在使用多语言语言模型进行跨语言理解方面比 Fine-Tuning 更好

    本研究研究了预训练多语言语言模型在零样本跨语言模型传递中的应用，使用 prompt-tuning 进行多语言 NLU 任务（包括句子分类、序列标注和问题解答）中的跨语言评估，并与传统的微调方法进行了比较。结果表明，prompt-tuning 在跨数据集跨语言传递方面比微调表现更好，而且只需调整 0.1% 到 0.3% 的参数。此外，分析表明，prompt tuning 可以在决策边界对齐更好的下游任务上具有更好的跨语言可传递性。

    Oct, 2022

  • 提示性模型是否无能？

    该论文研究了少样本提示模型是否也利用了表象线索，发现在 MNLI、SNLI、HANS 和 COPA 数据集上，尽管模型在表象线索实例上表现良好，但在没有表象线索的实例上的性能往往低于或仅略优于随机准确度。

    May, 2022

  • 细调 vs 触发，语言模型是否能理解人类价值观？

    未来我们将探索 fine-tuning 和 prompt tuning 在处理句子中潜在支持值的任务中的潜力，同时对大型语言模型与强化学习对齐在此任务中的能力进行初步尝试。

    Mar, 2024

  • 零样本跨语言生成中克服灾难性遗忘

    本文研究如何在只有英文标记数据的情况下，在目标语言中执行生成任务，以 summarization 作为案例研究。研究发现了通用的迁移学习方法在这种情况下存在困难，并且展示通过 prompt tuning 等方法可以实现跨语言生成。

    May, 2022