本论文提出了一个系统化的分类方法，将LLMs领域专业化技术分类，并讨论了适用于这些技术的关键应用领域的问题和前景，对当前研究状态和未来趋势进行了深入剖析。

May, 2023

介绍了用于微调和评估大型语言模型（LLMs）用于专门的货币化任务的多方面方法论，目标是在一般语言能力和领域特定技能之间实现平衡。方法论有三个主要组成部分：1）在微调过程中精心混合领域内和通用数据，以实现一般能力和专业能力之间的最佳平衡；2）设计全面的评估框架，包含45个问题，旨在评估在功能相关维度（如可靠性、一致性和商业影响）上的表现；3）分析模型大小和持续训练对度量指标的影响，以指导在微调过程中的高效资源分配。本文详细介绍了所提出框架的设计、数据收集、分析技术和验证结果，旨在为企业和研究人员提供行动洞察，以有效地使LLMs适应专门的环境。我们还打算公开全面的评估框架，其中包括45个量身定制的问题及其相应的评分指南，以促进LLMs在专门任务上的透明度与合作。

Oct, 2023

数据管理在大型语言模型的训练中起着基础性的作用，本文调查了数据管理在预训练和有监督微调阶段的各个方面，包括数据数量、数据质量、领域/任务组成等，为构建强大的大型语言模型提供了指导资源。

Dec, 2023

本研究探讨了对预训练大型语言模型（LLMs）进行微调和应用于特定领域的方法，重点关注LLMs、基础模型和特定领域预训练方法的趋势。针对金融行业，研究详细介绍了数据集选择、预处理、模型选择和金融领域LLM微调的关键考虑因素。通过实例展示了LLM微调在金融领域的实际应用，包括股价预测、金融新闻情感分析、自动文档处理、信息提取和客户服务的增强。本研究旨在推进自然语言处理技术在商业领域的应用，建议积极利用LLM在金融服务等行业中的潜力。

Jan, 2024

这篇论文研究了大型语言模型（LLMs）和它们经过微调后的变体之间的差异，尤其关注微调对LLMs内在泛化能力的影响。通过在不同任务和数据集上进行广泛的实验，研究发现微调应用于生成任务和分类任务的模型在泛化到不同领域和任务时表现出不同的行为，并且在生成任务的微调中整合上下文学习策略可以增强模型的泛化能力。通过这一系统性研究，旨在为LLMs的微调实践做出有价值的贡献。

Mar, 2024

通过使用Task-Fine-Tune的新颖Fine-Tuning方法，利用针对特定领域任务的专门增强数据集，优化任务特定模型性能，本研究发现这种方法不仅在特定任务上取得了卓越性能，而且在各自领域中显著优于具有更高总体功能的模型。

Jul, 2024

该研究评估了大型语言模型在常见查询和特定领域查询下的表现，并强调了综合评估框架在多领域人工智能研究中提高基准测试程序可靠性的重要性。

Jun, 2024

本报告探讨了大型语言模型（LLMs）的微调，结合理论见解与实践应用，填补了传统自然语言处理（NLP）模型到AI关键角色之间的研究空白。报告引入了一个结构化的七阶段微调流程，并强调管理不平衡数据集和优化技术。显著发现是采用高效参数方法能够在计算效率和性能之间取得良好平衡，报告为研究者和从业者提供了实用的见解。

Aug, 2024

本研究关注大型语言模型(LLMs)在特定组织翻译中的表现，尤其是微调过程中的数据规模影响。通过结合翻译记忆(TMs)，我们发现扩大的训练集规模在多种评估指标上显著提升了翻译质量，最大数据集的BLEU和COMET评分分别比基线模型提高了13和25分。这一发现为企业提供了利用TMs和LLMs优化翻译效果的宝贵见解。

Sep, 2024

本研究解决了大型语言模型（LLMs）在组织特定翻译中面临的细微差别与风格问题。通过利用翻译记忆（TMs）对Llama 3模型进行微调，研究表明使用更大规模的数据集能够显著提高翻译质量，尤其在软件行业的应用上具有重要的潜在影响。

Sep, 2024