May, 2024

揭示编码数据指令微调对大型语言模型推理能力的影响

PDF
TL;DR通过对编码数据在不同比例、模型家族和规模以及推理领域下对指导微调（IFT）的影响进行细致研究，本文发现编码数据的微调增强了大型语言模型（LLMs）在不同模型家族和规模上的整体推理能力，同时呈现了一致的趋势。
发现论文，激发创造
  • 在训练的哪个阶段，代码数据对 LLMs 的推理有帮助？

    使用代码数据在预训练和指令调整阶段可以显著增强大型语言模型的推理能力，同时动态混合代码和文本数据有助于逐步学习推理能力。

    Sep, 2023

  • 大型语言模型的能力受监督微调数据组成的影响

    通过研究大型语言模型在数据组成、数学推理、代码生成和精细调整策略等方面的能力，发现不同能力展现出不同的扩展模式，较大的模型在相同数据量下表现更好；数据组成在低数据量下会改善各种能力，而在高数据量下可能导致能力冲突；而我们提出的双阶段混合精细调整策略能够解决多个能力的学习问题。

    Oct, 2023

  • 使用分岔的思维链在语言模型中进行微调，提升推理能力和自我纠正

    通过要求模型在单一推理步骤中比较多个推理链，我们提出了一种新方法 Divergent CoT (DCoT)，进一步提高模型性能。通过一系列实验证明，DCoT 数据集上的微调在各种推理类型的任务上提高了模型的性能，无论模型的规模是多少。同时，我们通过经验和手动评估的结合，还表明这些性能提升源于模型在单一推理步骤中生成多个不同的推理链，表明语言模型具备自我纠正的能力。

    Jul, 2024

  • 大型语言模型用于数学推理的双向指导优化

    介绍了利用大型语言模型进行指令调优的最新进展，提出了一种双向指令调优策略，通过前向和后向推理任务来改善语言模型对数学推理的理解与执行能力。通过广泛实验证明，这种策略适用于多种数学推理任务并具有领域通用性。

    Mar, 2024

  • 利用大型语言模型进行代码生成的参数高效微调技术探究

    通过对大规模语言模型进行参数高效微调技术的研究，本文在自动化代码生成场景下全面研究了这些技术对大规模语言模型的影响，实验结果表明这些技术在减轻计算负担和提高性能方面表现优越，为软件工程场景中的更广泛应用开启了机会。

    Aug, 2023

  • 通过自然语言和多样化数据集改进多语言指导微调

    利用英语为主要依据的大型语言模型（LLMs）、单语语料库和评分函数，我们提出了一种新颖的方法来收集多语言的指令微调（IFT）数据集，以保持语言的自然性和确保批示的多样性。实验证明，使用我们的 IFT 数据集进行微调的 LLMs 在生成和判别任务方面都显示出显著的改进，表明 LLMs 在非英语环境中的语言理解能力得到了提升。特别是在多语言摘要任务中，使用我们的 IFT 数据集进行微调的 LLMs 相对于采用基于翻译和基于模板的数据集进行微调的 LLMs 分别实现了 17.57% 和 15.23% 的改进。

    Jul, 2024

  • 何时使用思考方案进行推理？

    利用结构和逻辑属性以及优化代码复杂度对大型语言模型 (LLM) 的推理能力进行评估和改进。

    Aug, 2023

  • 学习还是自我调整？重新思考指令微调

    通过知识干预框架，我们揭示了指导微调的潜在机制，并为最近和可能的未来工作提供了强有力的支持。

    Feb, 2024

  • 重新审视指令精调模型评估以指导工业应用

    指导微调（IFT）是一种强化大型语言模型（LLM）的零样本能力的强大范式，但在此过程中引入了新的评估指标要求。我们展示了基于 LLM 的评估指标适应这些要求，并利用它们对任务专业化策略进行调查，量化在实际工业环境中出现的权衡。我们的发现为从业者在实际的 IFT 模型部署中提供了可行的见解。

    Oct, 2023

  • 从语言建模到指令遵循：理解指令调优后 LLMs 的行为转变

    通过本研究，我们发现指导微调对大型语言模型产生了三个重要影响，包括了对指令识别的加强、对知识存储层次的对齐以及对单词关系学习的促进。这些发现有助于更深入地理解指导微调对大型语言模型行为变化的影响，并为未来解释和优化这些模型以适用于不同应用领域的研究打下了基础。

    Sep, 2023