Sep, 2024

大规模语言模型的领域适应微调：训练策略、比例、模型合并及协同能力探索

HTML
PDF
TL;DR本研究针对大规模语言模型在特定领域应用中的微调策略进行了探索，填补了技术能力适应的空白。通过比较继续预训练、监督微调及多种基于偏好的优化方法，发现模型合并能超越单一模型的功能，显著提升领域特定评估的表现。我们的实验表明，小型模型在合并时并未必能出现新能力，提示模型规模可能是关键因素。
发现论文，激发创造
  • 大型语言模型调查

    本文介绍了最近关于预训练语言模型（PLMs）的新进展，重点讨论了大型语言模型的预训练、适应和调整、利用和容量评估四个方面，并讨论了未来研究的问题和方向。

    Mar, 2023

  • 调整Attention中的LayerNorm：朝着高效的多模态LLM微调

    将大型语言模型（LLMs）转换为多模式大型语言模型（MLLMs）的有效策略，通过调整LayerNorm来实现性能提升和模型表现力改善。该策略相较于其他调整方法具有高效性，同时进一步使用对话数据进行选择性调整能够提高效率。

    Dec, 2023

  • 大语言模型时代的进化计算：调查与路线图

    基于大型语言模型（LLMs）和进化算法（EAs）的优势和互补性，本文提出了一篇综合综述和展望性的论文，将它们的相互启示分为LLM增强进化优化和EA增强LLM两个方面，并介绍了一些整合方法来论证在各种应用场景中LLMs与EAs的融合。这篇论文是围绕LLMs时代的EA研究的首个综合综述，为了解和利用LLMs与EAs之间的协作潜力奠定了基础，并提供了挑战和未来方向的指导。

    Jan, 2024

  • 通过修正的标度定律选择大型语言模型进行微调

    在本研究中，我们针对有限资源的情况，通过预测微调性能并阐明其与扩展规律的自然连接，解决了在众多选项中选择最合适微调模型的挑战。我们发现，与预训练不同，微调的扩展曲线不仅包括众所周知的“幂阶段”，还包括以前未观察到的“前幂阶段”。为了克服现有扩展规律无法捕捉这种相变现象的理论和实证限制，我们引入了“预学习数据大小”概念到改进的扩展规律中，这大大提高了实验结果的拟合度。通过利用我们的规律，我们提出了一种新颖的LLM选择算法，用较少的资源消耗选择接近最优的模型，而其他方法可能提供负相关的选择。

    Feb, 2024

  • 当扩展与LLM微调相遇：数据、模型和微调方法的影响

    大语言模型的微调方法的缩放因子对模型性能的影响的系统实验结果表明，LLM finetuning 遵循微调数据量与其他缩放因子之间的幂函数乘法联合缩放规律，LLM 模型尺寸的扩大比预训练数据尺寸的扩大对 finetuning 更有益处，而仅考虑参数缩放的效果通常并不明显，同时最优的 finetuning 方法与任务和微调数据相关联，这些结果对于选择和开发 LLM finetuning 方法具有指导意义。

    Feb, 2024

  • 探索大型语言模型的领域、技术与挑战

    对于大型语言模型（LLMs）的研究，包括基本原理、应用领域以及训练过程，本综述论文对于上下文学习、多种微调方法以及参数使用效率优化等机制进行探讨，同时深入研究了如何通过创新的强化学习框架和融入人类反馈的新方法来更好地与人类偏好相统一的问题。还研究了将外部知识融入LLMs的新兴技术——检索增强生成。对于LLMs的伦理问题，论文讨论了需谨慎且负责任的应用需求。最后，论文展望了未来的研究方向，提供了关于当今及未来LLMs领域中不断发展的全面且简明的概述，为人工智能领域的研究人员和实践者提供了有益的指南。

    Apr, 2024

  • 基础模型在黑盒优化中的应用：优势、挑战和未来发展方向

    庞大的语言模型(Large Language Models)已经在机器学习研究领域引发了一股创新浪潮，在强化学习、机器人学和计算机视觉等多个领域产生了实质性影响。然而，基于黑箱优化的实验设计领域受到的这种范式转变影响较小，尽管将LLM与优化相结合呈现出一个独特而广泛的探索空间。本文呈现了关于基于序列的基础模型构成黑箱优化领域的框架，并组织了这些模型与先前文献的关系。我们讨论了基础语言模型能够革新优化的最有前景的方式，包括利用自由文本中蕴含的大量信息来丰富任务理解、利用高度灵活的序列模型例如Transformers来设计出更优的优化策略，并提高对以前未见的搜索空间的性能预测。

    May, 2024

  • 大型语言模型（LLM）在低资源环境中不同有效微调方法的比较分析

    该研究探讨了大型语言模型的细调策略，发现可替代方法在领域外泛化方面与标准方法相媲美，强调了对有效提示的需求，并针对可用资源和任务适应性进行合适的细调方法选择。

    May, 2024

  • 在资源受限的边缘设备上部署LLMs的实践指南

    通过对学习方法、个性化数据使用量、语言模型的类型和大小、压缩方法以及学习时间和目标用例难度之间的权衡进行实证研究，我们找到了一些用于将语言模型部署到资源受限设备上的指导方针。

    Jun, 2024

  • 从基础到突破的最终指南：大型语言模型微调的全面技术、研究、最佳实践、应用研究挑战与机遇综述

    本报告探讨了大型语言模型（LLMs）的微调，结合理论见解与实践应用，填补了传统自然语言处理（NLP）模型到AI关键角色之间的研究空白。报告引入了一个结构化的七阶段微调流程，并强调管理不平衡数据集和优化技术。显著发现是采用高效参数方法能够在计算效率和性能之间取得良好平衡，报告为研究者和从业者提供了实用的见解。

    Aug, 2024