Mar, 2023

BloombergGPT: 金融领域的大型语言模型

PDF
TL;DR本文介绍了 BloombergGPT， 这是一个在大量金融数据上训练得到的具有 500 亿参数的语言模型。通过使用混合数据集进行训练，我们得到的模型不仅在金融任务上表现出色，还在普遍的 LLM 基准测试上得到了不错的表现，同时也解释了模型构建、训练过程和评估方法。
发现论文，激发创造
  • FinGPT: 开源金融领域大型语言模型

    本文介绍了一种基于数据驱动和透明资源的开源金融领域大型语言模型（FinGPT），通过自动数据处理管道和低秩度量适应技术，为研究人员和从业者提供访问、透明的资源，并展示了机器人顾问、算法交易和低代码开发等潜在应用。

    Jun, 2023

  • FinGPT: 金融大型语言模型的互联网规模数据民主化

    金融行业中，大型语言模型（LLMs）表现出了非凡的水平，在理解和生成类似人类的文本方面具有巨大的潜力，然而，现有的 LLMs 在金融领域中存在不足之处，这主要归因于一般文本数据和金融文本数据之间的差异。为了解决这个问题，我们引入了一种开源数据为中心的框架 —— 金融生成预训练 Transformer（FinGPT），通过自动收集和筛选来自互联网上的实时金融数据，为研究人员和从业人员提供了开放和透明的资源，以开发他们的 FinLLMs。此外，我们提出了一种简单而有效的策略，即使用市场的内在反馈进行 FinLLM 的精细调整，称为股票价格强化学习（RLSP）。最后，我们展示了几种 FinGPT 的应用，包括机器顾问，算法交易的情感分析以及低代码开发。FinGPT 旨在民主化金融领域的 LLMs，激发创新，并在开放金融领域中开启新的机会。

    Jul, 2023

  • ChatGPT 是否是金融专家？对语言模型在金融自然语言处理的评估

    使用 FinLMEval 框架评估了大型语言模型在金融领域中的能力，并发现虽然一些只有解码器的 LLM 在大多数金融任务中表现出色，尤其是通过零 - shot 提示，但它们在处理专有数据集时通常落后于经过精调的专家模型。该研究为在金融领域构建更高级别的 LLMs 提供了基础评估。

    Oct, 2023

  • FinGPT：小语种的大型生成模型

    该研究聚焦于用于芬兰语的大型语言模型（LLMs）的创建和评估，通过从各种来源收集数据并进行预训练，综合其他语言模型的方法，在芬兰语领域取得了显著进展，并对模型的质量进行了评估，包括毒性和偏见。

    Nov, 2023

  • 生物医学自然语言处理中的大型语言模型：基准、基线和建议

    本研究通过实验验证了 GPT-3 和 GPT-4 在 8 个 BioNLP 应用中的性能表现，并对其识别错误进行了分析，提出了在 BioNLP 应用中使用 LLMs 的建议。

    May, 2023

  • CFGPT：具有大型语言模型的中文金融助手

    本文介绍了一种名为 CFGPT 的中文金融预训练变换器框架，包括一个用于预训练和监督微调的数据集（CFData），一个用于管理金融文本的金融 LLM（CFLLM）和一个用于导航实际金融应用的部署框架（CFAPP）。

    Sep, 2023

  • 金融中的大型语言模型：综述

    近期大规模语言模型 (LLM) 的发展在金融领域开创了人工智能应用的新可能性。本文提供了一份实用的调查报告，关注 LLM 在金融任务中的两个关键方面：现有解决方案和采用指南。首先，我们回顾了目前在金融领域中采用 LLM 的方法，包括通过零样本或少样本学习利用预训练模型，对领域特定数据进行微调，以及从头开始训练自定义 LLM。我们总结了关键模型并评估了它们在金融自然语言处理任务上的性能改进。其次，我们提出了一个决策框架，以帮助金融业专业人员根据数据、计算和性能需求选择合适的 LLM 解决方案。该框架提供了从轻量级实验到大规模投资自定义 LLM 的路径。最后，我们讨论了在金融应用中利用 LLM 所面临的限制和挑战。总的来说，该调查旨在综述最新技术并为负责任地应用 LLM 推动金融人工智能提供路线图。

    Sep, 2023

  • 超越分类：最先进语言模型中的财务推理

    本文对大规模语言模型在金融领域中的应用进行了可行性研究，探讨了任务形式、数据生成、提示方法和评估能力等方面，发现在 6B 参数时可以生成相关的金融推理结果，并提供了名为 sFIOG 的公开数据集，以支持未来的研究。

    Apr, 2023

  • FinGPT: 金融数据集中开源大型语言模型的指令调整基准

    在自然语言处理（NLP）领域中，基于 GPT 模型在金融领域的潜力日益显现。然而，将这些模型与金融数据集结合存在一些挑战，特别是在确定它们的熟练程度和相关性方面。本文介绍了一种独特的方法，该方法以指令调整范式为基础，专门适用于金融环境中的开源大型语言模型。通过这种方法，我们充分利用开源模型的互操作性，确保了无缝透明的集成。我们首先解释了指令调整范式，强调其对即时集成的有效性。本文提出了一个基准测试方案，用于端到端的训练和测试，采用一种经济有效的进展方式。首先，我们评估了基本能力和基本任务，例如命名实体识别（NER）和情感分析，以增强特性。接下来，我们深入研究了一个全面的模型，通过汇集所有指令调整来执行多任务操作，以检验其多样性。最后，我们通过标记未见任务并结合新颖的数据集探索了零样本能力，以了解在未知领域的适应性。这样的范式巩固了开放性和可重现性的原则，为未来在开源金融大型语言模型（FinLLMs）中的研究奠定了坚实的基础。

    Oct, 2023

  • FinVis-GPT：一个用于金融图表分析的多模态大型语言模型

    本文提出了一种新颖的多模式大型语言模型 FinVis-GPT，专为金融图表分析而设计。通过利用 LLM 的强大能力以及整合指令调整和多模式功能，FinVis-GPT 能够解释金融图表并提供有价值的分析。通过进行几个案例研究，我们评估了模型的性能，结果表明 FinVis-GPT 在包括生成描述、回答问题和预测未来市场趋势等各种金融图表相关任务中优于现有的最先进多模式 LLMs。所提出的 FinVis-GPT 在金融领域中利用多模式 LLMs 的尝试是开创性的，我们生成的数据集将在不久的将来发布以加速相关研究。

    Jul, 2023