BloombergGPT: 金融领域的大型语言模型
本文介绍了一种基于数据驱动和透明资源的开源金融领域大型语言模型(FinGPT),通过自动数据处理管道和低秩度量适应技术,为研究人员和从业者提供访问、透明的资源,并展示了机器人顾问、算法交易和低代码开发等潜在应用。
Jun, 2023
金融行业中,大型语言模型(LLMs)表现出了非凡的水平,在理解和生成类似人类的文本方面具有巨大的潜力,然而,现有的 LLMs 在金融领域中存在不足之处,这主要归因于一般文本数据和金融文本数据之间的差异。为了解决这个问题,我们引入了一种开源数据为中心的框架 —— 金融生成预训练 Transformer(FinGPT),通过自动收集和筛选来自互联网上的实时金融数据,为研究人员和从业人员提供了开放和透明的资源,以开发他们的 FinLLMs。此外,我们提出了一种简单而有效的策略,即使用市场的内在反馈进行 FinLLM 的精细调整,称为股票价格强化学习(RLSP)。最后,我们展示了几种 FinGPT 的应用,包括机器顾问,算法交易的情感分析以及低代码开发。FinGPT 旨在民主化金融领域的 LLMs,激发创新,并在开放金融领域中开启新的机会。
Jul, 2023
最近几年,大型语言模型(LLMs)如 ChatGPT 取得了显著的进展,并在各个领域得到了应用。这些模型建立在 Transformer 架构基础上,通过广泛的数据集训练,能够有效地理解和生成人类语言。在金融领域,LLMs 的部署正在迅速发展。它们被用于自动化财务报告生成、预测市场趋势、分析投资者情绪和提供个性化的财务建议。利用其自然语言处理能力,LLMs 可以从海量金融数据中提取关键见解,帮助机构做出明智的投资决策,提高运营效率和客户满意度。本研究全面介绍了 LLMs 在各种金融任务中的应用。此外,我们通过自然语言指令对多个金融任务进行了全面测试。我们的研究结果表明,GPT-4 在各种金融任务中能够有效地遵循指令。这项对 LLMs 在金融领域的调查和评估旨在加深金融从业者和 LLM 研究人员对 LLMs 在金融中的作用的理解,发现新的研究和应用前景,并强调如何利用这些技术来解决金融行业的实际挑战。
Jan, 2024
使用 FinLMEval 框架评估了大型语言模型在金融领域中的能力,并发现虽然一些只有解码器的 LLM 在大多数金融任务中表现出色,尤其是通过零 - shot 提示,但它们在处理专有数据集时通常落后于经过精调的专家模型。该研究为在金融领域构建更高级别的 LLMs 提供了基础评估。
Oct, 2023
该研究针对金融领域进行了大规模语言模型(LLM)的适应性研究,并着重研究了金融情感分析,发现通过精细调整基础模型并结合金融文档和指令数据集,小型 LLM 在性能上与大型模型可媲美,而且在参数和数据方面更高效。此外,研究还展示了如何通过 LLM 生成人工指令以增加指令数据集的样本数量。
Jan, 2024
该研究聚焦于用于芬兰语的大型语言模型(LLMs)的创建和评估,通过从各种来源收集数据并进行预训练,综合其他语言模型的方法,在芬兰语领域取得了显著进展,并对模型的质量进行了评估,包括毒性和偏见。
Nov, 2023
本研究通过实验验证了 GPT-3 和 GPT-4 在 8 个 BioNLP 应用中的性能表现,并对其识别错误进行了分析,提出了在 BioNLP 应用中使用 LLMs 的建议。
May, 2023
本文介绍了一种名为 CFGPT 的中文金融预训练变换器框架,包括一个用于预训练和监督微调的数据集(CFData),一个用于管理金融文本的金融 LLM(CFLLM)和一个用于导航实际金融应用的部署框架(CFAPP)。
Sep, 2023