Aug, 2024

从基础到突破的最终指南：大型语言模型微调的全面技术、研究、最佳实践、应用研究挑战与机遇综述

HTML
PDF
TL;DR本报告探讨了大型语言模型（LLMs）的微调，结合理论见解与实践应用，填补了传统自然语言处理（NLP）模型到AI关键角色之间的研究空白。报告引入了一个结构化的七阶段微调流程，并强调管理不平衡数据集和优化技术。显著发现是采用高效参数方法能够在计算效率和性能之间取得良好平衡，报告为研究者和从业者提供了实用的见解。
发现论文，激发创造
  • 大型语言模型的效率谱：算法调查

    综述了旨在改善大型语言模型(Large Language Models)效率的算法进展，包括扩展法则、数据利用、架构创新、训练和调优策略以及推理技术等多个方面，旨在为研究人员和从业者提供宝贵的资源，并为未来的创新奠定基础。

    Dec, 2023

  • 调整Attention中的LayerNorm：朝着高效的多模态LLM微调

    将大型语言模型（LLMs）转换为多模式大型语言模型（MLLMs）的有效策略，通过调整LayerNorm来实现性能提升和模型表现力改善。该策略相较于其他调整方法具有高效性，同时进一步使用对话数据进行选择性调整能够提高效率。

    Dec, 2023

  • 当扩展与LLM微调相遇：数据、模型和微调方法的影响

    大语言模型的微调方法的缩放因子对模型性能的影响的系统实验结果表明，LLM finetuning 遵循微调数据量与其他缩放因子之间的幂函数乘法联合缩放规律，LLM 模型尺寸的扩大比预训练数据尺寸的扩大对 finetuning 更有益处，而仅考虑参数缩放的效果通常并不明显，同时最优的 finetuning 方法与任务和微调数据相关联，这些结果对于选择和开发 LLM finetuning 方法具有指导意义。

    Feb, 2024

  • LLM用在微调中有效吗？中国短文本匹配的监督学习实验调查

    对于任务建模方法、提示格式和输出格式等因素，我们通过将大型语言模型进行微调来研究其对中文短文本匹配任务的性能影响。

    Mar, 2024

  • 探索大型语言模型的领域、技术与挑战

    对于大型语言模型（LLMs）的研究，包括基本原理、应用领域以及训练过程，本综述论文对于上下文学习、多种微调方法以及参数使用效率优化等机制进行探讨，同时深入研究了如何通过创新的强化学习框架和融入人类反馈的新方法来更好地与人类偏好相统一的问题。还研究了将外部知识融入LLMs的新兴技术——检索增强生成。对于LLMs的伦理问题，论文讨论了需谨慎且负责任的应用需求。最后，论文展望了未来的研究方向，提供了关于当今及未来LLMs领域中不断发展的全面且简明的概述，为人工智能领域的研究人员和实践者提供了有益的指南。

    Apr, 2024

  • LLM的偏好微调应利用次优的，符合策略的数据

    通过对 fine-tuning 技术的分析，我们发现使用 on-policy sampling 或负梯度的方法通常优于离线和最大似然目标，我们将这些方法统一归为对分类分布的寻找模式的目标方法，该方法能够更有效地在分类分布的不同区间进行概率分布的重新定位。我们的分析为 LLM 的 preference fine-tuning 提供了可操作性的见解，并指导了如何收集数据以实现最大改进。

    Apr, 2024

  • 大型语言模型（LLM）在低资源环境中不同有效微调方法的比较分析

    该研究探讨了大型语言模型的细调策略，发现可替代方法在领域外泛化方面与标准方法相媲美，强调了对有效提示的需求，并针对可用资源和任务适应性进行合适的细调方法选择。

    May, 2024

  • 低秩微调LLMs：公平视角

    研究表明低秩逼近Fine-Tuning在捕捉Fine-Tuning数据集从初始预训练数据分布中的转变方面具有不足之处，会产生不可忽视的副作用，包括在针对有毒模型和提供公平模型的情景下意外保留不合理的偏差和有毒行为。此外，对于顺序决策任务，需要进行仔细评估以促进负责任的大型语言模型开发。

    May, 2024

  • 使用异构反馈微调大型语言模型的框架

    本研究旨在解决传统反馈数据集在收集困难、范围有限和样本质量不一的问题。提出的框架将不同类型的反馈数据整合为统一的监督格式，并从中提取高质量、多样化的子集，从而显著提升模型性能，尤其在指令执行和偏见减少方面表现出色。

    Aug, 2024

  • 大型语言模型的峰值性能实现：系统评审

    本研究解决了大型语言模型（LLM）在性能优化和资源消耗方面的挑战。通过系统文献综述，提出了多种方法来加快LLM的训练和推理，同时保持准确性。研究表明，可以在不损失性能的情况下，显著降低计算和内存成本，推动LLM的广泛应用。

    Sep, 2024