Jun, 2024

大型语言模型的性能误区揭秘：微调与失败？

PDF
TL;DR研究探讨了大型语言模型在细调、提取上下文数据和性能增强方面的影响，以及它们在多个领域的应用情况，并指出了细调模型在特定任务中性能下降的问题。
large language modelsfine-tuningretrieval-augmented generationcontextual dataperformance
发现论文，激发创造
  • 提升大型语言模型性能以更准确地回答问题和提取信息

    通过精调模型和对称相似度、LLM 评估和 Rouge-L 分数等指标的连续反馈循环来提高人工智能模型，利用金融数据集和检索增强生成技术 (RAG)，证明精调模型在问题回答能力方面能够超越零 - shot LLMs 的准确性。

    Jan, 2024

  • 微调还是检索？LLMs 中知识注入的比较

    比较 fine-tuning 和 retrieval-augmented generation (RAG) 两种方法，发现 RAG 在不同主题的知识密集型任务中始终优于 fine-tuning，并且 LLMs 在 fine-tuning 中难以学习新的事实信息，通过在训练过程中暴露它们于相同事实的多个变体可以缓解这个问题。

    Dec, 2023

  • 企业版预训练语言模型 Fine Tuning 指南与推荐

    使用专有文件和代码从企业存储库中细调 LLMa LLMs，以评估响应质量，同时提供细调 LLM 的实用指导和建议。

    Mar, 2024

  • 微调与检索增强生成：面向不那么流行的知识

    通过检索增强生成（RAG）和精调（FT）方法来定制大型语言模型（LLM），以应对低频实体的问答任务，结果表明，FT 显著提升性能，尤其在最受欢迎和最不受欢迎的实体组中，而 RAG 优于其他方法。

    Mar, 2024

  • 在资源匮乏环境中通过大型语言模型的微调进行文本数据增强

    通过细调教师大型语言模型产生和注释的数据，可以改善较小模型的下游性能，有时只需要原始训练数据的一小部分。

    Oct, 2023

  • 揭示了细调的大型语言模型的泛化能力

    这篇论文研究了大型语言模型（LLMs）和它们经过微调后的变体之间的差异，尤其关注微调对 LLMs 内在泛化能力的影响。通过在不同任务和数据集上进行广泛的实验，研究发现微调应用于生成任务和分类任务的模型在泛化到不同领域和任务时表现出不同的行为，并且在生成任务的微调中整合上下文学习策略可以增强模型的泛化能力。通过这一系统性研究，旨在为 LLMs 的微调实践做出有价值的贡献。

    Mar, 2024

  • 适用于对话的不同技术方法评估：微调还是 RAG？

    研究了大型语言模型（LLMs）在人机对话中的回应生成任务中的限制及不同对话类型下的 LLM 适应技术的评估方法，发现没有普遍适用的最佳适应技术，包括人工评估以避免自动测量引起的不准确预期和结果。

    Jun, 2024

  • RAG 与 Fine-tuning：管道、权衡及农业案例研究

    在本文中，我们提出了一种用于 fine-tuning 和 RAG 的流程，并介绍了它们在多种流行的 LLMs 中的权衡。我们对农业数据集进行了深入研究，结果显示我们的数据集生成流程在捕捉特定地理知识方面的有效性以及 RAG 和 fine-tuning 的定量和定性优势。整体而言，结果表明通过使用 LLMs 构建的系统可以适应和整合特定行业关键维度上的知识，为其他工业领域进一步应用 LLMs 铺平了道路。

    Jan, 2024

  • 调整困境：提高翻译质量而不牺牲 LLM 能力

    微调大型语言模型对机器翻译的影响及保持翻译质量和翻译能力的需求。

    May, 2024

  • 从人工针到真实大量数据集：通过在合成数据上进行微调来改进 LLMs 的检索能力

    利用合成数据集对大型语言模型进行微调，显著提高了其在长上下文环境下的信息检索和推理能力。

    Jun, 2024