May, 2024

TAIA：大型语言模型的非分布式数据学习者

HTML
PDF
TL;DR通过细调参数和推理时干预的Transformer模型，能够在数据匮乏的领域中提高大语言模型的性能。
发现论文，激发创造
  • 微调可以有多精细？学习高效语言模型

    通过使用BERT来验证，文章研究了当使用大规模未标注文本语料库进行预训练的语言模型进行轻量级有监督微调以学习任务时，微调只在参数空间中引入了轻微的差异，可以通过对预训练参数的某些层的特定数量的条目设置为零来达到对巨大语言模型的精细调节，从而节省了任务特定参数存储和计算成本的开销。

    Apr, 2020

  • 在大型语言模型微调中保持上下文学习能力

    Pretrained large language models show in-context learning abilities, but fine-tuning on specific tasks destroys this ability due to format specialization. Prompt Tuning with MOdel Tuning (ProMoT) is a two-stage framework that preserves the model's in-context abilities by training a soft prompt for the fine-tuning task and then fine-tuning the model itself with this prompt. ProMoT achieves similar performance on fine-tuned tasks with much less reduction in in-context learning performances while also showing remarkable generalization ability, making it a promising method for building general-purpose capabilities such as grounding and reasoning into LLMs with small but high-quality datasets.

    Nov, 2022

  • 或许只需要0.5%的数据：低训练数据指令调优的初步探索

    本文介绍了一种名为Low Training Data Instruction Tuning (LTD Instruction Tuning)的方式，从减少数据使用、优化任务性能、优化指令调整类型和使用任务特定模型等方面，降低大型语言模型（LLMs）指令调整的数据使用，提高数据利用效率。实验结果表明，可以使用少于原始数据集的0.5%来训练任务特定的模型，并且相较于使用完整的任务相关数据训练的模型，性能可提升2%。

    May, 2023

  • 单语或多语指导调优：哪个更好的羊驼

    通过使用多语言调优方法研究基础大型语言模型（LLMs）的代价效益，检验了LLMs对于单语和多语环境中查询的有效性，并发现多语调优对于LLMs在多语环境中的鲁棒性是关键。研究表明，在有限的计算资源情况下，仅使用有限数据集对多语调优模型进行训练，与为每种语言训练单语模型相比具有相同强大的性能。这些发现可作为扩展语言支持的指南，通过使用约束的计算资源进行指令调优。

    Sep, 2023

  • 调整Attention中的LayerNorm：朝着高效的多模态LLM微调

    将大型语言模型（LLMs）转换为多模式大型语言模型（MLLMs）的有效策略，通过调整LayerNorm来实现性能提升和模型表现力改善。该策略相较于其他调整方法具有高效性，同时进一步使用对话数据进行选择性调整能够提高效率。

    Dec, 2023

  • 知识感知的大语言模型微调

    使用知识感知微调（KnowTuning）方法解决大型语言模型在自然语言处理任务中的知识感知不足问题，并在通用和医疗问答数据集上进行了广泛的实验证明了其有效性，并展示了其在未知问答数据集上的泛化能力。

    Feb, 2024

  • 使用顺序指令对大型语言模型进行微调

    大语言模型（LLMs）在单个查询中难以遵循一系列指令，从而可能忽略或错误解释其中的一部分，这影响了它们在需要多个中间步骤的复杂问题（例如多语言（翻译然后回答）和多模态（字幕然后回答）任务）中的性能。我们通过使用开源LLMs（如LLaMA-2 70B和Mixtral-8x7B）进行实证验证。针对当今数据中顺序指令的稀缺性，我们提出了顺序指令调整，这是一种简单而有效的策略，用于自动增加指令调整数据并赋予LLMs执行多个顺序指令的能力。通过探索Alpaca等现有数据集中的交替指令和各种中间任务，我们发现，顺序指令调整模型在涉及推理、多语言和多模态能力的下游任务中始终优于传统的指令调整基线。为了进一步阐明我们的技术，我们分析了敌对中间文本、未见任务、提示语言的表达、任务数量和提示长度对顺序指令调整的影响。我们希望这种方法能为复杂任务的指令调整开辟新的研究途径。

    Mar, 2024

  • 揭示了细调的大型语言模型的泛化能力

    这篇论文研究了大型语言模型（LLMs）和它们经过微调后的变体之间的差异，尤其关注微调对LLMs内在泛化能力的影响。通过在不同任务和数据集上进行广泛的实验，研究发现微调应用于生成任务和分类任务的模型在泛化到不同领域和任务时表现出不同的行为，并且在生成任务的微调中整合上下文学习策略可以增强模型的泛化能力。通过这一系统性研究，旨在为LLMs的微调实践做出有价值的贡献。

    Mar, 2024

  • 大型语言模型（LLM）在低资源环境中不同有效微调方法的比较分析

    该研究探讨了大型语言模型的细调策略，发现可替代方法在领域外泛化方面与标准方法相媲美，强调了对有效提示的需求，并针对可用资源和任务适应性进行合适的细调方法选择。

    May, 2024

  • 关于大规模语言模型在问答任务中的微调的实证见解

    本研究针对大规模语言模型在问答任务中的微调策略这一尚未充分探索的问题，提出了一种基于预训练模型记忆知识程度对监督微调数据进行分类的方法。研究发现，在微调阶段仅需60个数据点即可激活预训练中编码的知识，且不同记忆水平的数据对模型性能有显著影响，具体最佳数据集因模型而异。

    Sep, 2024