Jan, 2023

从语言模型中提取事实知识的微调理解

PDF
TL;DR本文分析语言模型在事实知识提取中的应用，发现 finetuning 会造成一个负面现象 - Frequency Shock，导致模型预测能力下降，因此提出两种解决方案（模型混合和混合 finetuning），并验证实验表明这两种解决方案相比原始 finetuning 均获得了显著的改进。
language modelsknowledge extractionfinetuningfrequency shockknowledge graph construction
发现论文，激发创造
  • 理解基于事实知识提取的微调

    本文研究了 QA 微调数据对下游事实性的影响，证明了微调在不太为人知的事实上时，即使在预训练期间看到了所有事实，其事实性远远不如在众所周知的事实上进行微调，我们的结果揭示了预训练知识和微调数据之间的相互作用，并在为知识密集型任务进行微调时强调了预训练模型中事实存储的重要性。

    Jun, 2024

  • 对新知识进行细调的 LLMs 是否鼓励产生幻觉？

    大型语言模型在通过有监督微调对齐时，会遇到并未通过预训练获得的新的事实信息，从而可能教会模型产生虚假的事实错误响应，导致模型训练生成不基于其现有知识的事实。本研究旨在研究这种新知识暴露对经过微调的模型利用其现有知识的影响。我们设计了一个可控制的实验，并集中于封闭式问答，通过在微调示例中引入新知识的比例来变化。我们证明大型语言模型在微调过程中较难获得新的事实知识，因为引入新知识的微调示例要比与模型现有知识相一致的示例学习速度慢得多。然而，我们还发现随着新知识的学习，它们线性增加了模型产生虚假响应的倾向。综上所述，我们的结果强调通过微调引入新的事实知识的风险，并支持大型语言模型主要通过预训练获取事实知识，而微调则教会它们更有效地使用。

    May, 2024

  • 知识感知的大语言模型微调

    使用知识感知微调（KnowTuning）方法解决大型语言模型在自然语言处理任务中的知识感知不足问题，并在通用和医疗问答数据集上进行了广泛的实验证明了其有效性，并展示了其在未知问答数据集上的泛化能力。

    Feb, 2024

  • 针对事实性的语言模型微调

    通过利用外部知识库的一致性或大模型的置信度，以及直接优化算法，我们在不需要人工标注的情况下，对语言模型进行微调，明显提高了生成候选项的正确性，并比对准确性进行了目标定向的 RLHF 和解码策略有显著改善。

    Nov, 2023

  • 面向事实知识回忆的 LLM 综合评估

    评估大型语言模型的事实记忆能力及其影响因素，涵盖多个领域、知识流行度水平和模型家族，并观察到指令调整对知识召回的负面影响、模型规模对性能的正面影响以及反事实演示对大模型事实知识召回的降低作用。

    Apr, 2024

  • 通过监督微调向大规模语言模型注入新知识

    研究了在最新的体育事件领域中，通过具有监督的微调方法对大规模语言模型进行知识注入的有效性，并比较了基于令牌和基于事实缩放的不同数据集生成策略，发现基于事实缩放提供了更为系统的方法来确保对所有事实的均匀覆盖。通过 SFT 进行更有效的知识吸收，从而显著提高了与领域外知识相关的问答任务的性能，为领域适应性和提高大规模语言模型响应准确性的潜力做出了贡献。

    Mar, 2024

  • 基于解释的微调使模型对虚假线索更加鲁棒

    本文提出了基于解释的微调作为一种缓解大型语言模型依赖错误相关的新颖通用方法，并在人工构建的训练集上微调模型，使其更加强壮。与标准微调不同，我们不仅仅针对输入进行预测，还微调模型以生成支持其答案的自由文本解释。与标准微调相比，我们的方法在四个分类任务中使模型对伪线索具有明显更强的稳健性。此外，我们的方法同样适用于由模型生成的解释，暗示了其在更多数据集上的适用性。

    May, 2023

  • 微调还是检索？LLMs 中知识注入的比较

    比较 fine-tuning 和 retrieval-augmented generation (RAG) 两种方法，发现 RAG 在不同主题的知识密集型任务中始终优于 fine-tuning，并且 LLMs 在 fine-tuning 中难以学习新的事实信息，通过在训练过程中暴露它们于相同事实的多个变体可以缓解这个问题。

    Dec, 2023

  • 大型语言模型在预训练期间如何获取事实知识？

    通过研究大型语言模型在预训练过程中获得事实知识的机制，发现预训练数据量的增加并不显著提高模型获得和保持事实知识的能力，训练步骤与记忆遗忘和事实知识的泛化之间存在幂律关系，重复训练数据会导致遗忘加速，而使用更大的批量大小有助于提高模型的遗忘鲁棒性。事实知识在预训练过程中的获取是通过逐步增加每一步预训练数据中出现的事实知识的概率，但此提升会受到后续遗忘的影响。根据这一解释，我们对大型语言模型的表现提供了合理的解释，如对尾部知识的糟糕表现以及去重预训练语料库的好处。

    Jun, 2024

  • 无监督方式提升语言模型中的事实知识

    本研究提出一种影响掩蔽语言模型预训练的方法，使其在无监督的方式下优先选择有信息的词汇，实验证明此方法大大提高了预训练语言模型在诸如事实回忆、问题回答、情感分析和自然语言推理等知识密集型任务中的表现。

    Apr, 2023