Jul, 2023

FinGPT: 金融大型语言模型的互联网规模数据民主化

PDF
TL;DR金融行业中，大型语言模型（LLMs）表现出了非凡的水平，在理解和生成类似人类的文本方面具有巨大的潜力，然而，现有的 LLMs 在金融领域中存在不足之处，这主要归因于一般文本数据和金融文本数据之间的差异。为了解决这个问题，我们引入了一种开源数据为中心的框架 —— 金融生成预训练 Transformer（FinGPT），通过自动收集和筛选来自互联网上的实时金融数据，为研究人员和从业人员提供了开放和透明的资源，以开发他们的 FinLLMs。此外，我们提出了一种简单而有效的策略，即使用市场的内在反馈进行 FinLLM 的精细调整，称为股票价格强化学习（RLSP）。最后，我们展示了几种 FinGPT 的应用，包括机器顾问，算法交易的情感分析以及低代码开发。FinGPT 旨在民主化金融领域的 LLMs，激发创新，并在开放金融领域中开启新的机会。
large language modelsfinance industryfinancial text dataopen-sourced frameworkfingpt
发现论文，激发创造
  • FinGPT: 开源金融领域大型语言模型

    本文介绍了一种基于数据驱动和透明资源的开源金融领域大型语言模型（FinGPT），通过自动数据处理管道和低秩度量适应技术，为研究人员和从业者提供访问、透明的资源，并展示了机器人顾问、算法交易和低代码开发等潜在应用。

    Jun, 2023

  • BloombergGPT: 金融领域的大型语言模型

    本文介绍了 BloombergGPT， 这是一个在大量金融数据上训练得到的具有 500 亿参数的语言模型。通过使用混合数据集进行训练，我们得到的模型不仅在金融任务上表现出色，还在普遍的 LLM 基准测试上得到了不错的表现，同时也解释了模型构建、训练过程和评估方法。

    Mar, 2023

  • CFGPT：具有大型语言模型的中文金融助手

    本文介绍了一种名为 CFGPT 的中文金融预训练变换器框架，包括一个用于预训练和监督微调的数据集（CFData），一个用于管理金融文本的金融 LLM（CFLLM）和一个用于导航实际金融应用的部署框架（CFAPP）。

    Sep, 2023

  • 用 LLM 彻底改革金融：应用和洞见概述

    最近几年，大型语言模型（LLMs）如 ChatGPT 取得了显著的进展，并在各个领域得到了应用。这些模型建立在 Transformer 架构基础上，通过广泛的数据集训练，能够有效地理解和生成人类语言。在金融领域，LLMs 的部署正在迅速发展。它们被用于自动化财务报告生成、预测市场趋势、分析投资者情绪和提供个性化的财务建议。利用其自然语言处理能力，LLMs 可以从海量金融数据中提取关键见解，帮助机构做出明智的投资决策，提高运营效率和客户满意度。本研究全面介绍了 LLMs 在各种金融任务中的应用。此外，我们通过自然语言指令对多个金融任务进行了全面测试。我们的研究结果表明，GPT-4 在各种金融任务中能够有效地遵循指令。这项对 LLMs 在金融领域的调查和评估旨在加深金融从业者和 LLM 研究人员对 LLMs 在金融中的作用的理解，发现新的研究和应用前景，并强调如何利用这些技术来解决金融行业的实际挑战。

    Jan, 2024

  • FinTral: GPT-4 级金融大语言模型家族

    介绍了一种名为 FinTral 的多模态大型语言模型套件，通过使用领域特定的预训练、指导微调和 RLAIF 训练等方法，结合文本、数值、表格和图像数据进行金融分析，并演示了其在金融技术中能够在实时分析和决策方面取得显著进展。

    Feb, 2024

  • FinGPT：小语种的大型生成模型

    该研究聚焦于用于芬兰语的大型语言模型（LLMs）的创建和评估，通过从各种来源收集数据并进行预训练，综合其他语言模型的方法，在芬兰语领域取得了显著进展，并对模型的质量进行了评估，包括毒性和偏见。

    Nov, 2023

  • FinGPT: 金融数据集中开源大型语言模型的指令调整基准

    在自然语言处理（NLP）领域中，基于 GPT 模型在金融领域的潜力日益显现。然而，将这些模型与金融数据集结合存在一些挑战，特别是在确定它们的熟练程度和相关性方面。本文介绍了一种独特的方法，该方法以指令调整范式为基础，专门适用于金融环境中的开源大型语言模型。通过这种方法，我们充分利用开源模型的互操作性，确保了无缝透明的集成。我们首先解释了指令调整范式，强调其对即时集成的有效性。本文提出了一个基准测试方案，用于端到端的训练和测试，采用一种经济有效的进展方式。首先，我们评估了基本能力和基本任务，例如命名实体识别（NER）和情感分析，以增强特性。接下来，我们深入研究了一个全面的模型，通过汇集所有指令调整来执行多任务操作，以检验其多样性。最后，我们通过标记未见任务并结合新颖的数据集探索了零样本能力，以了解在未知领域的适应性。这样的范式巩固了开放性和可重现性的原则，为未来在开源金融大型语言模型（FinLLMs）中的研究奠定了坚实的基础。

    Oct, 2023

  • FinVis-GPT：一个用于金融图表分析的多模态大型语言模型

    本文提出了一种新颖的多模式大型语言模型 FinVis-GPT，专为金融图表分析而设计。通过利用 LLM 的强大能力以及整合指令调整和多模式功能，FinVis-GPT 能够解释金融图表并提供有价值的分析。通过进行几个案例研究，我们评估了模型的性能，结果表明 FinVis-GPT 在包括生成描述、回答问题和预测未来市场趋势等各种金融图表相关任务中优于现有的最先进多模式 LLMs。所提出的 FinVis-GPT 在金融领域中利用多模式 LLMs 的尝试是开创性的，我们生成的数据集将在不久的将来发布以加速相关研究。

    Jul, 2023

  • Ploutos: 朝着可解释的股票动态预测的金融大语言模型

    在金融投资领域，大型语言模型 (Large Language Models，LLMs) 的完全潜力尚未得到充分利用。针对量化金融的典型深度学习方法存在两个主要挑战：一是难以灵活地融合文本和数值信息进行股票运动预测，二是传统方法缺乏清晰度和解释性，这阻碍了其在需要预测的理由至关重要的场景中的应用。为解决以上挑战，我们提出了一种名为 Ploutos 的新型金融 LLM 框架，其中包括 PloutosGen 和 PloutosGPT。PloutosGen 包含多个主要专家，可以分析不同模态数据，如文本和数字，并从不同的角度提供量化策略。然后，PloutosGPT 结合他们的见解和预测，生成可解释的理由。为了生成准确和可信的理由，PloutosGPT 的训练策略利用后视镜提示机制来引导 GPT-4 生成理由，并利用动态令牌加权机制通过增加关键令牌的权重来微调 LLM。广泛的实验证明，我们的框架在预测准确性和解释性方面优于最先进的方法。

    Feb, 2024

  • FinLLMs：用大型语言模型生成金融推理数据集的框架

    基于大型语言模型，通过使用常见的金融公式生成金融问题回答数据，FinLLMs 方法提供一种解决数据资源有限和注释成本高昂问题的方法。实验结果表明，由 FinLLMs 生成的合成数据有效地提升了金融领域几个大规模数值推理模型的性能，超过了两个常用基准金融问题回答数据集。

    Jan, 2024