Jan, 2024

金融情感分析的大规模语言模型适应

PDF
TL;DR该研究针对金融领域进行了大规模语言模型（LLM）的适应性研究，并着重研究了金融情感分析，发现通过精细调整基础模型并结合金融文档和指令数据集，小型 LLM 在性能上与大型模型可媲美，而且在参数和数据方面更高效。此外，研究还展示了如何通过 LLM 生成人工指令以增加指令数据集的样本数量。
natural language processingfinancial institutionsfinancial sentiment analysisadaptation methodslanguage models
发现论文，激发创造
  • 金融情绪分析的预训练大型语言模型

    金融情感分析是将金融文本内容分类为情感类别（如积极、消极和中性）。本文聚焦于金融新闻标题的分类，通过利用预训练的大型语言模型以及监督微调技术，实现在少量训练样本情况下显著超越之前最先进的算法。

    Jan, 2024

  • 金融领域大型语言模型综述

    金融领域的大型语言模型（LLMs）较少研究，本文综述了金融 LLMs 的历史、技术、性能、机遇和挑战，包括训练方法、训练数据和性能评估等关键点。

    Feb, 2024

  • 通过检索增强的大型语言模型增强金融情感分析

    在金融情感分析领域，传统的 NLP 模型受到参数大小和训练数据范围的限制，以及简洁的财经新闻文本缺乏上下文的问题，而无法很好地泛化和提高准确性。为了解决这些挑战，本研究引入了一种基于检索增强的大型语言模型（LLMs）框架，该框架包括一个指导调整的 LLMs 模块和一个从可靠外部来源检索附加上下文的模块。与传统模型和 ChatGPT、LLaMA 等 LLMs 相比，我们的方法在准确性和 F1 得分方面取得了 15％到 48％的性能提升。

    Oct, 2023

  • 金融中的大型语言模型：综述

    近期大规模语言模型 (LLM) 的发展在金融领域开创了人工智能应用的新可能性。本文提供了一份实用的调查报告，关注 LLM 在金融任务中的两个关键方面：现有解决方案和采用指南。首先，我们回顾了目前在金融领域中采用 LLM 的方法，包括通过零样本或少样本学习利用预训练模型，对领域特定数据进行微调，以及从头开始训练自定义 LLM。我们总结了关键模型并评估了它们在金融自然语言处理任务上的性能改进。其次，我们提出了一个决策框架，以帮助金融业专业人员根据数据、计算和性能需求选择合适的 LLM 解决方案。该框架提供了从轻量级实验到大规模投资自定义 LLM 的路径。最后，我们讨论了在金融应用中利用 LLM 所面临的限制和挑战。总的来说，该调查旨在综述最新技术并为负责任地应用 LLM 推动金融人工智能提供路线图。

    Sep, 2023

  • 金融情绪分析中精调 LLMs 和少样本学习 LLMs 的比较分析

    金融情绪分析在揭示潜在模式和检测新兴趋势方面发挥着重要作用，最近，大型语言模型在不同领域展示了显著的能力，对于各种自然语言处理任务，甚至在零样本和少样本的情境学习中都表现出卓越的能力。然而，在金融情绪分析的背景下，它们的潜力和适用性尚未得到全面探索。为了弥补这一空白，我们采用了两种方法：上下文学习（重点关注 gpt-3.5-turbo 模型）和对金融领域数据集进行微调的 LLM。我们的结果表明，经过微调的较小 LLM 即便参数较少、训练数据集较小，也能够实现与最先进经过微调的 LLM 可比较的性能。此外，LLM 的零样本和一样本性能与经过微调的较小 LLM 和最先进的结果相当。此外，我们的分析表明，增加上下文学习的样本数量，并没有提高金融领域情绪分析的性能。

    Dec, 2023

  • Instruct-FinGPT: 通过指导调整通用大型语言模型进行金融情感分析

    该研究介绍了一种简单而有效的指令调整方法，通过将一小部分有监督的金融情感分析数据转化为指令数据并使用这种方法微调通用型的大型语言模型，从而在金融情感分析中取得了显著的进展，特别是在关键情境下，如对数字理解和语境理解等方面。

    Jun, 2023

  • 面向数据的金融大型语言模型

    通过数据中心的方法，我们提出了一种能够更好地处理金融任务的金融 LLM（FLLM）模型，通过多任务提示优化来对数据进行预处理和预理解，并通过推断增强推理（AAR）自动生成训练数据，实验结果表明，我们的数据中心 FLLM 模型显著优于基于原始文本的金融 LLMs，在金融分析和解释任务上达到了最新水平，我们还开源了一个新的金融分析和解释基准，这种方法为解锁 LLMs 在复杂现实领域的潜力提供了希望。

    Oct, 2023

  • 用 LLM 彻底改革金融：应用和洞见概述

    最近几年，大型语言模型（LLMs）如 ChatGPT 取得了显著的进展，并在各个领域得到了应用。这些模型建立在 Transformer 架构基础上，通过广泛的数据集训练，能够有效地理解和生成人类语言。在金融领域，LLMs 的部署正在迅速发展。它们被用于自动化财务报告生成、预测市场趋势、分析投资者情绪和提供个性化的财务建议。利用其自然语言处理能力，LLMs 可以从海量金融数据中提取关键见解，帮助机构做出明智的投资决策，提高运营效率和客户满意度。本研究全面介绍了 LLMs 在各种金融任务中的应用。此外，我们通过自然语言指令对多个金融任务进行了全面测试。我们的研究结果表明，GPT-4 在各种金融任务中能够有效地遵循指令。这项对 LLMs 在金融领域的调查和评估旨在加深金融从业者和 LLM 研究人员对 LLMs 在金融中的作用的理解，发现新的研究和应用前景，并强调如何利用这些技术来解决金融行业的实际挑战。

    Jan, 2024

  • BloombergGPT: 金融领域的大型语言模型

    本文介绍了 BloombergGPT， 这是一个在大量金融数据上训练得到的具有 500 亿参数的语言模型。通过使用混合数据集进行训练，我们得到的模型不仅在金融任务上表现出色，还在普遍的 LLM 基准测试上得到了不错的表现，同时也解释了模型构建、训练过程和评估方法。

    Mar, 2023

  • 超越分类：最先进语言模型中的财务推理

    本文对大规模语言模型在金融领域中的应用进行了可行性研究，探讨了任务形式、数据生成、提示方法和评估能力等方面，发现在 6B 参数时可以生成相关的金融推理结果，并提供了名为 sFIOG 的公开数据集，以支持未来的研究。

    Apr, 2023