Oct, 2023

InstructRetro: 检索增强预训练后的指令调整

PDF
TL;DR通过检索进行预先训练的大型语言模型在困惑度和事实准确性方面表现更好，但现有预先训练的检索增强语言模型的规模仍然受限，因此限制了指导调整和零样本泛化的效果。我们提出了 Retro 48B，这是在指导调整之前预先训练的最大语言模型，通过从 1.2 万亿令牌中检索继续对 43B GPT 模型进行额外的 1000 亿令牌的预训练。Retro 48B 在困惑度方面在很大程度上优于原始的 43B GPT。在 Retro 上进行指导调整后，InstructRetro 在零样本问答任务上明显优于指导调整的 GPT。此外，我们发现可以剔除 InstructRetro 架构中的编码器，直接使用其解码器骨干，同时获得可比较的结果。预先训练与检索使其解码器在问答中更好地融入上下文，为获取更好的 GPT 解码器指明了有希望的方向。
large language modelspretrainingretrievalinstruction tuningquestion answering
发现论文，激发创造
  • 我们是否应该使用检索方法预训练自回归语言模型？一项全面研究

    通过引入检索机制可以提高大型解码器语言模型的困惑度和生成质量，本文提出了一种可扩展的预训练检索增强语言模型，它在实验证明了在知识密集型任务上优于标准 GPT，未来这可能是预训练自回归 LM 的有前途的方向。

    Apr, 2023

  • 从数十万亿的标记中检索以提高语言模型

    通过从大型语料库中检索与前面 token 相似的文档块来改善自回归语言模型的条件，并创建 Retrieval-Enhanced Transformer（RETRO），该模型在 Pile 数据集上的表现与 GPT-3 和 Jurassic-1 相当。 RETRO 结合一个冻结的 Bert 检索器，一个可微分的编码器和一个分块交叉关注机制，可以基于比通常在训练期间消耗的数据量高一个数量级的数据预测 token，并在 fine-tuning 后转化为下游的 knowledge-intensive 任务，例如问答等，这一研究为利用显式记忆来提高语言模型的性能开辟了新的途径。

    Dec, 2021

  • 自检索的长距离语言建模

    本文中，我们提出了一种用于从头开始联合训练检索增强语言模型的架构和训练流程，名为 Retrieval-Pretrained Transformer（RPT），并使用四个长程语言建模任务进行了评估，横跨图书、代码和数学写作，证明了与强基线相比，RPT 改善了整体的检索质量和困惑度。

    Jun, 2023

  • RA-DIT: 检索增强的双指令调整

    Retrieval-augmented language models can be enhanced through a lightweight fine-tuning methodology called RA-DIT, which effectively integrates retrieval capabilities into any pre-trained language model, resulting in state-of-the-art performance in zero- and few-shot learning scenarios.

    Oct, 2023

  • 使用检索增强语言模型提高 GPT-3/4 在生物医学数据上的准确性

    本文研究了大型语言模型在特定领域中的性能，比较了多种模型回答 DLBCL 疾病的问题，发现 RetA 模型在准确性和相关性方面表现最好。

    May, 2023

  • 关于检索增强的 Transformer 的泛化能力

    该研究探讨了 Retrieval-Enhanced Transformer（RETRO）模型的性能以及性能提升的原因，发现检索数据库可显著提高语言建模的效果，但其性能提升主要来自于测试数据与数据库的重叠标记。该研究还指出，检索增强的语言模型对于其泛化能力的评估存在一定挑战，即使是有限的标记重叠也可能显著降低测试损失。

    Feb, 2023

  • Tuna: 基于大型语言模型的指令调整

    通过概率排名和上下文排名的方法对已调整过的模型进行微调，最终生成更好回复的模型称为 Tuna，能够优于强化学习基线模型，提高对各种任务的性能。

    Oct, 2023

  • 基于检索增强的大语言模型的开放式命名实体识别指令调整

    探索了检索增强的指示调节（RA-IT）方法在信息抽取领域的应用，特别关注开放式命名实体识别任务，通过从训练数据集中检索语义相似的例子作为上下文，并将其前置到原始指示的输入中，验证了 RA-IT 方法在不同数据规模和中英文情景下的有效性。

    Jun, 2024

  • 经验调教语言模型优于知识学习者

    通过在文档训练之前进行问答配对，提出了一种称为 PIT（pre-instruction-tuning）的方法，能够显著提高大型语言模型从新文档吸收知识的能力，比传统的指令调整方法的性能提高了 17.8%。

    Feb, 2024

  • 语言模型的即时信息检索增强

    本文的研究重点是探索使用信息检索作为预训练语言模型的增强，通过将信息检索与 GPT 2.0 相结合，可以实现 Gigaword 语料库中的困惑度降低 15％，同时还验证了该增强技术在事件共参考任务上的有效性。

    Jul, 2020