Jun, 2024

应用调优 LLMs 减少负载曲线分析的数据需求

PDF
TL;DR该研究提出了一种利用经过微调的大型语言模型（LLMs）来最小化负荷数据要求的新方法，并通过在电力系统负荷配置文件中恢复丢失数据来进行验证。通过实证评估，我们展示了经过微调的模型在准确恢复丢失数据方面的有效性，实现了与 BERT-PIN 等专门设计的模型相当的性能。重要发现包括提示工程的重要性和合理利用微调样本，在从普通用户案例向特定目标用户传递知识方面展示了少样本学习的效率。此外，所提出的方法与从头训练模型相比，具有显著的成本效益和时间效率，在数据有限和计算资源有限的情况下，是一种实际可行的解决方案。该研究对于其他电力系统负荷配置文件分析任务具有重要的应用潜力，推动了在电力系统分析中使用 LLMs 的发展，为提高电力分配系统的韧性和效率提供了有希望的启示。
fine-tuned large language modelsload profile analysismissing data restorationfew-shot learningpower system analytics
发现论文，激发创造
  • 企业版预训练语言模型 Fine Tuning 指南与推荐

    使用专有文件和代码从企业存储库中细调 LLMa LLMs，以评估响应质量，同时提供细调 LLM 的实用指导和建议。

    Mar, 2024

  • LLM2LLM：利用新的迭代数据增强提升 LLM 模型

    使用以预训练大型语言模型（LLM）为基础的 LLM2LLM 方法，通过数据增强和迭代，显著提高 LLM 在低数据情况下的性能，优于传统的微调和其他数据增强方法，减少了对数据策划的依赖，为更可扩展和高性能的 LLM 解决方案铺平了道路。

    Mar, 2024

  • 提升大型语言模型性能以更准确地回答问题和提取信息

    通过精调模型和对称相似度、LLM 评估和 Rouge-L 分数等指标的连续反馈循环来提高人工智能模型，利用金融数据集和检索增强生成技术 (RAG)，证明精调模型在问题回答能力方面能够超越零 - shot LLMs 的准确性。

    Jan, 2024

  • 将大型语言模型应用于内容审核：数据工程和监督微调中的陷阱

    介绍如何微调一种可以私下部署用于内容审核的大型语言模型，并讨论在微调过程中是否融入原因会更好，以及利用更强大的语言模型生成的原因对私下部署模型进行微调的好处和处理不正确答案时的不同处理方法。向研究人员提供有价值的经验。

    Oct, 2023

  • 大型语言模型的性能误区揭秘：微调与失败？

    研究探讨了大型语言模型在细调、提取上下文数据和性能增强方面的影响，以及它们在多个领域的应用情况，并指出了细调模型在特定任务中性能下降的问题。

    Jun, 2024

  • 在资源匮乏环境中通过大型语言模型的微调进行文本数据增强

    通过细调教师大型语言模型产生和注释的数据，可以改善较小模型的下游性能，有时只需要原始训练数据的一小部分。

    Oct, 2023

  • 利用大型语言模型进行临床自然语言处理中基于无知识弱监督的优化

    使用弱监督和微调大型语言模型（LLM）的方法，在几乎没有领域知识的情况下，能够在性能上显著优于传统的有限的标准数据的监督方法，利用基于提示的方法，LLM 生成弱标记数据来训练下游的 BERT 模型，然后将弱监督模型进一步在少量的标准数据上进行微调，通过评估发现该方法优于 out-of-the-box PubMedBERT 4.7% 至 47.9% 的 F1 得分。

    Jun, 2024

  • 大型语言模型可以作为良好的隐私保护学习者

    利用特定域数据对大型语言模型进行微调时，存在个人身份信息敏感度的问题。为了解决这一挑战，我们引入了隐私保护语言模型（PPLM），通过有效注入特定领域知识来保护数据隐私。我们的工作提供了模型设计理论分析，并详细介绍了诸如语料库整理、基于惩罚性失真的训练损失和基于指令的微调等技术。在各种数据集和场景下的广泛实验证实了我们方法的有效性。特别是，正负样本指令微调成为一种有潜力的方法，可以在增强模型知识的同时保护私人数据。我们的工作突显了大型语言模型作为强大隐私保护学习器的潜力。

    Oct, 2023

  • 金融情绪分析中精调 LLMs 和少样本学习 LLMs 的比较分析

    金融情绪分析在揭示潜在模式和检测新兴趋势方面发挥着重要作用，最近，大型语言模型在不同领域展示了显著的能力，对于各种自然语言处理任务，甚至在零样本和少样本的情境学习中都表现出卓越的能力。然而，在金融情绪分析的背景下，它们的潜力和适用性尚未得到全面探索。为了弥补这一空白，我们采用了两种方法：上下文学习（重点关注 gpt-3.5-turbo 模型）和对金融领域数据集进行微调的 LLM。我们的结果表明，经过微调的较小 LLM 即便参数较少、训练数据集较小，也能够实现与最先进经过微调的 LLM 可比较的性能。此外，LLM 的零样本和一样本性能与经过微调的较小 LLM 和最先进的结果相当。此外，我们的分析表明，增加上下文学习的样本数量，并没有提高金融领域情绪分析的性能。

    Dec, 2023

  • 领域特定的 LLMs 的微调和利用方法

    本研究探讨了对预训练大型语言模型（LLMs）进行微调和应用于特定领域的方法，重点关注 LLMs、基础模型和特定领域预训练方法的趋势。针对金融行业，研究详细介绍了数据集选择、预处理、模型选择和金融领域 LLM 微调的关键考虑因素。通过实例展示了 LLM 微调在金融领域的实际应用，包括股价预测、金融新闻情感分析、自动文档处理、信息提取和客户服务的增强。本研究旨在推进自然语言处理技术在商业领域的应用，建议积极利用 LLM 在金融服务等行业中的潜力。

    Jan, 2024