Sep, 2023

InvestLM：一种用于投资的大规模语言模型，利用金融领域指令调整

PDF
TL;DR我们提出了一个新的金融领域大型语言模型 InvestLM，在 LLaMA-65B 上进行了调优，使用了一个与金融投资相关的精心策划的指令数据集。InvestLM 在理解金融文本方面表现出强大的能力，并对投资相关问题提供有价值的回答。这项工作开发了一个最先进的金融领域语言模型，具有优越的理解金融文本和提供有益投资建议的能力，可能提高金融专业人员的工作效率。
financial domain large language modelinvestlminstruction datasetfinancial textinvestment advice
发现论文，激发创造
  • PIXIU：面向金融领域的大型语言模型、指令数据和评估基准

    介绍了一个名为 PIXIU 的综合框架，包括首个用于金融领域的基于 fine-tuning 的 LLM（FinMA）、用于 fine-tuning 的指导数据和包含 5 个 NLP 任务和 1 个预测任务的评估基准。

    Jun, 2023

  • 金融中的大型语言模型：综述

    近期大规模语言模型 (LLM) 的发展在金融领域开创了人工智能应用的新可能性。本文提供了一份实用的调查报告，关注 LLM 在金融任务中的两个关键方面：现有解决方案和采用指南。首先，我们回顾了目前在金融领域中采用 LLM 的方法，包括通过零样本或少样本学习利用预训练模型，对领域特定数据进行微调，以及从头开始训练自定义 LLM。我们总结了关键模型并评估了它们在金融自然语言处理任务上的性能改进。其次，我们提出了一个决策框架，以帮助金融业专业人员根据数据、计算和性能需求选择合适的 LLM 解决方案。该框架提供了从轻量级实验到大规模投资自定义 LLM 的路径。最后，我们讨论了在金融应用中利用 LLM 所面临的限制和挑战。总的来说，该调查旨在综述最新技术并为负责任地应用 LLM 推动金融人工智能提供路线图。

    Sep, 2023

  • 金融领域大型语言模型综述

    金融领域的大型语言模型（LLMs）较少研究，本文综述了金融 LLMs 的历史、技术、性能、机遇和挑战，包括训练方法、训练数据和性能评估等关键点。

    Feb, 2024

  • Instruct-FinGPT: 通过指导调整通用大型语言模型进行金融情感分析

    该研究介绍了一种简单而有效的指令调整方法，通过将一小部分有监督的金融情感分析数据转化为指令数据并使用这种方法微调通用型的大型语言模型，从而在金融情感分析中取得了显著的进展，特别是在关键情境下，如对数字理解和语境理解等方面。

    Jun, 2023

  • 领域特定的 LLMs 的微调和利用方法

    本研究探讨了对预训练大型语言模型（LLMs）进行微调和应用于特定领域的方法，重点关注 LLMs、基础模型和特定领域预训练方法的趋势。针对金融行业，研究详细介绍了数据集选择、预处理、模型选择和金融领域 LLM 微调的关键考虑因素。通过实例展示了 LLM 微调在金融领域的实际应用，包括股价预测、金融新闻情感分析、自动文档处理、信息提取和客户服务的增强。本研究旨在推进自然语言处理技术在商业领域的应用，建议积极利用 LLM 在金融服务等行业中的潜力。

    Jan, 2024

  • 金融情感分析的大规模语言模型适应

    该研究针对金融领域进行了大规模语言模型（LLM）的适应性研究，并着重研究了金融情感分析，发现通过精细调整基础模型并结合金融文档和指令数据集，小型 LLM 在性能上与大型模型可媲美，而且在参数和数据方面更高效。此外，研究还展示了如何通过 LLM 生成人工指令以增加指令数据集的样本数量。

    Jan, 2024

  • 大型语言模型作为金融数据注释工具的效果与效率研究

    研究通过比较三种大型语言模型与专家标注者和众包工人标注的金融文档，发现大型语言模型可作为提取金融文档中关系的高效数据标注工具，并引入了一个可靠性指标用于识别需要专家关注的输出，提供了在特定领域设置中自动化注释的收集和使用的建议。

    Mar, 2024

  • FinGPT: 金融数据集中开源大型语言模型的指令调整基准

    在自然语言处理（NLP）领域中，基于 GPT 模型在金融领域的潜力日益显现。然而，将这些模型与金融数据集结合存在一些挑战，特别是在确定它们的熟练程度和相关性方面。本文介绍了一种独特的方法，该方法以指令调整范式为基础，专门适用于金融环境中的开源大型语言模型。通过这种方法，我们充分利用开源模型的互操作性，确保了无缝透明的集成。我们首先解释了指令调整范式，强调其对即时集成的有效性。本文提出了一个基准测试方案，用于端到端的训练和测试，采用一种经济有效的进展方式。首先，我们评估了基本能力和基本任务，例如命名实体识别（NER）和情感分析，以增强特性。接下来，我们深入研究了一个全面的模型，通过汇集所有指令调整来执行多任务操作，以检验其多样性。最后，我们通过标记未见任务并结合新颖的数据集探索了零样本能力，以了解在未知领域的适应性。这样的范式巩固了开放性和可重现性的原则，为未来在开源金融大型语言模型（FinLLMs）中的研究奠定了坚实的基础。

    Oct, 2023

  • DISC-FinLLM：基于多专家微调的中文金融大型语言模型

    我们提出了一种多专家微调框架来构建金融领域的大型语言模型（LLM），DISC-FinLLM。我们的方法通过赋予通用 LLMs 多轮问答能力、领域文本处理能力、数学计算技巧和检索增强生成能力来改进通用 LLMs。我们构建了一个金融指令微调数据集，名为 DISC-FIN-SFT，其中包括四个类别（咨询、自然语言处理任务、计算和检索增强生成）的指令样本。在多个基准测试中进行的评估表明，我们的模型在各种金融场景中比基准模型表现更好。更多资源可以在此 https 链接中找到。

    Oct, 2023

  • JaFIn: 日本金融指导数据集

    我们通过构建一个适用于大型语言模型（LLM）的指令数据集，展示了指令调整通过域适应的有效性，利用多个数据源手动构建了一个名为 JaFIn 的日文金融指令数据集，并应用于几个 LLM，证明我们的金融专业模型在领域适应性方面比原始模型更好，通过定量的日本金融基准和定性的响应比较表明其表现得到了改进。

    Apr, 2024