AnyTaskTune: 通过任务微调实现高级领域专业解决方案
本论文提出了一个系统化的分类方法，将LLMs领域专业化技术分类，并讨论了适用于这些技术的关键应用领域的问题和前景，对当前研究状态和未来趋势进行了深入剖析。
May, 2023
介绍了用于微调和评估大型语言模型（LLMs）用于专门的货币化任务的多方面方法论，目标是在一般语言能力和领域特定技能之间实现平衡。方法论有三个主要组成部分：1）在微调过程中精心混合领域内和通用数据，以实现一般能力和专业能力之间的最佳平衡；2）设计全面的评估框架，包含45个问题，旨在评估在功能相关维度（如可靠性、一致性和商业影响）上的表现；3）分析模型大小和持续训练对度量指标的影响，以指导在微调过程中的高效资源分配。本文详细介绍了所提出框架的设计、数据收集、分析技术和验证结果，旨在为企业和研究人员提供行动洞察，以有效地使LLMs适应专门的环境。我们还打算公开全面的评估框架，其中包括45个量身定制的问题及其相应的评分指南，以促进LLMs在专门任务上的透明度与合作。
Oct, 2023
大语言模型的微调方法的缩放因子对模型性能的影响的系统实验结果表明，LLM finetuning 遵循微调数据量与其他缩放因子之间的幂函数乘法联合缩放规律，LLM 模型尺寸的扩大比预训练数据尺寸的扩大对 finetuning 更有益处，而仅考虑参数缩放的效果通常并不明显，同时最优的 finetuning 方法与任务和微调数据相关联，这些结果对于选择和开发 LLM finetuning 方法具有指导意义。
Feb, 2024
我们提出了一个双阶段方法来构建高质量数据的生产提示，通过该方法可以增强一般大型语言模型的特定领域能力，而不损害其总体泛化能力。
Mar, 2024
这篇论文研究了大型语言模型（LLMs）和它们经过微调后的变体之间的差异，尤其关注微调对LLMs内在泛化能力的影响。通过在不同任务和数据集上进行广泛的实验，研究发现微调应用于生成任务和分类任务的模型在泛化到不同领域和任务时表现出不同的行为，并且在生成任务的微调中整合上下文学习策略可以增强模型的泛化能力。通过这一系统性研究，旨在为LLMs的微调实践做出有价值的贡献。
Mar, 2024
使用无标签开放数据进行预精调预训练语言模型以最小化领域特定数据需求，并在达到预期性能水平的同时选择数据以将预训练分布推向目标分布的优化方法，展示了该方法在各种任务中的优越性和快速性，为经济高效的微调奠定了基础。
May, 2024
该研究探讨了大型语言模型的细调策略，发现可替代方法在领域外泛化方面与标准方法相媲美，强调了对有效提示的需求，并针对可用资源和任务适应性进行合适的细调方法选择。
May, 2024
本报告探讨了大型语言模型（LLMs）的微调，结合理论见解与实践应用，填补了传统自然语言处理（NLP）模型到AI关键角色之间的研究空白。报告引入了一个结构化的七阶段微调流程，并强调管理不平衡数据集和优化技术。显著发现是采用高效参数方法能够在计算效率和性能之间取得良好平衡，报告为研究者和从业者提供了实用的见解。
Aug, 2024
本研究解决了大语言模型微调过程中由于过拟合导致的泛化能力下降的问题。提出的选择性自我复习（SSR）方法通过利用模型的正确响应来减少模型在微调阶段的专业化，从而在多个数据集上显示出更优的泛化能力和接近标准监督微调的性能。研究结果表明，与标准微调方法相比，SSR在多个基准测试中表现出显著更小的性能下降。
Sep, 2024