IJCAIJul, 2023

一个高效的数据创建流程，为大型语言模型生成高质量的金融指令数据

PDF
TL;DR通过创造一个数据创建流程，将大规模语言模型 fine-tune 为金融相关任务，本研究使用 ChatGPT 在 AI 投资者和金融专家之间开展对话，并结合金融专家的反馈，生成了一个包含 103k 条对话的稳健指令调整数据集。通过采用 GPT-4 作为评判模型，在该数据集上进行了广泛实验，结果表明我们的方法在从 AI 模型中生成准确、相关和金融风格的回答方面取得了重大进展，为金融领域的应用提供了有力工具。
large language modelfinancial datasetdata creation pipelinechatgptai investor
发现论文，激发创造
  • FinGPT: 金融数据集中开源大型语言模型的指令调整基准

    在自然语言处理（NLP）领域中，基于 GPT 模型在金融领域的潜力日益显现。然而，将这些模型与金融数据集结合存在一些挑战，特别是在确定它们的熟练程度和相关性方面。本文介绍了一种独特的方法，该方法以指令调整范式为基础，专门适用于金融环境中的开源大型语言模型。通过这种方法，我们充分利用开源模型的互操作性，确保了无缝透明的集成。我们首先解释了指令调整范式，强调其对即时集成的有效性。本文提出了一个基准测试方案，用于端到端的训练和测试，采用一种经济有效的进展方式。首先，我们评估了基本能力和基本任务，例如命名实体识别（NER）和情感分析，以增强特性。接下来，我们深入研究了一个全面的模型，通过汇集所有指令调整来执行多任务操作，以检验其多样性。最后，我们通过标记未见任务并结合新颖的数据集探索了零样本能力，以了解在未知领域的适应性。这样的范式巩固了开放性和可重现性的原则，为未来在开源金融大型语言模型（FinLLMs）中的研究奠定了坚实的基础。

    Oct, 2023

  • FinGPT: 金融大型语言模型的互联网规模数据民主化

    金融行业中，大型语言模型（LLMs）表现出了非凡的水平，在理解和生成类似人类的文本方面具有巨大的潜力，然而，现有的 LLMs 在金融领域中存在不足之处，这主要归因于一般文本数据和金融文本数据之间的差异。为了解决这个问题，我们引入了一种开源数据为中心的框架 —— 金融生成预训练 Transformer（FinGPT），通过自动收集和筛选来自互联网上的实时金融数据，为研究人员和从业人员提供了开放和透明的资源，以开发他们的 FinLLMs。此外，我们提出了一种简单而有效的策略，即使用市场的内在反馈进行 FinLLM 的精细调整，称为股票价格强化学习（RLSP）。最后，我们展示了几种 FinGPT 的应用，包括机器顾问，算法交易的情感分析以及低代码开发。FinGPT 旨在民主化金融领域的 LLMs，激发创新，并在开放金融领域中开启新的机会。

    Jul, 2023

  • BloombergGPT: 金融领域的大型语言模型

    本文介绍了 BloombergGPT， 这是一个在大量金融数据上训练得到的具有 500 亿参数的语言模型。通过使用混合数据集进行训练，我们得到的模型不仅在金融任务上表现出色，还在普遍的 LLM 基准测试上得到了不错的表现，同时也解释了模型构建、训练过程和评估方法。

    Mar, 2023

  • FinGPT: 开源金融领域大型语言模型

    本文介绍了一种基于数据驱动和透明资源的开源金融领域大型语言模型（FinGPT），通过自动数据处理管道和低秩度量适应技术，为研究人员和从业者提供访问、透明的资源，并展示了机器人顾问、算法交易和低代码开发等潜在应用。

    Jun, 2023

  • Instruct-FinGPT: 通过指导调整通用大型语言模型进行金融情感分析

    该研究介绍了一种简单而有效的指令调整方法，通过将一小部分有监督的金融情感分析数据转化为指令数据并使用这种方法微调通用型的大型语言模型，从而在金融情感分析中取得了显著的进展，特别是在关键情境下，如对数字理解和语境理解等方面。

    Jun, 2023

  • 使用 ChatGPT 改进金融领域的情感分析

    使用大型语言模型 ChatGPT 3.5 进行金融情感分析，特别关注外汇市场，通过零样本提示方法的探究，比起金融文本情感分析模型 FinBERT，ChatGPT 表现出了大约 35% 的情感分类性能提升以及 36% 更高的与市场回报的相关性，强调了提示工程在零样本上下文中的重要性，突显了 ChatGPT 在金融应用中显著提升情感分析的潜力，并分享所使用的数据集以促进该领域的进一步研究与发展。

    Aug, 2023

  • GenQA：从少数提示生成数百万个指令

    研究如何从单个提示生成大型指导数据集，使用较少的人工监督，使 LLMs 能够撰写多样化的指令示例，从简单的完成任务到复杂的多轮对话，并在知识密集型任务和对话评估中超过了 WizardLM 和 Ultrachat，在扩展性和可伸缩性方面超过了公共指导微调数据集。

    Jun, 2024

  • ChatGPT 是否是金融专家？对语言模型在金融自然语言处理的评估

    使用 FinLMEval 框架评估了大型语言模型在金融领域中的能力，并发现虽然一些只有解码器的 LLM 在大多数金融任务中表现出色，尤其是通过零 - shot 提示，但它们在处理专有数据集时通常落后于经过精调的专家模型。该研究为在金融领域构建更高级别的 LLMs 提供了基础评估。

    Oct, 2023

  • 用 ChatGPT 打破银行壁垒：金融领域的少样本文本分类

    我们提出使用对话式 GPT 模型，在金融领域利用 Banking77 数据集进行简单快速的少样本文本分类。我们的方法涉及 GPT-3.5 和 GPT-4 的上下文学习，最小化技术专业知识的要求，消除了昂贵的 GPU 计算需求，同时产生快速准确的结果。此外，我们使用 SetFit 这一最新的对比学习技术对其他预训练的屏蔽语言模型进行微调，以在完整数据和少样本设置下实现最先进的结果。我们的研究结果显示，即使样本较少，查询 GPT-3.5 和 GPT-4 的性能也能超过非生成模型的微调。然而，这些解决方案的订阅费用可能对小型机构来说过高。最后，我们发现生成模型在给定任务中表现更好，当显示人工专家选择的代表性样本，而不是随机选择的样本时。我们得出结论：a）我们提出的方法为具有有限标签可用性数据集中的少样本任务提供了实用的解决方案，并且 b）我们的最先进结果可以激发该领域的未来研究。

    Aug, 2023

  • 探究训练数据和评估对中文指示性语言模型的影响

    本研究旨在使用公开数据集结合自身汉语多轮对话中的数据进行分析，选取各种评估指标来评价各类开源聊天机器人的性能表现，并对 LLaMA 进行词汇扩展及 34 亿汉语单词的二次预训练，以期提升聊天机器人在中文领域的表现与效率，最后将模型、数据、代码进行公开发布。

    Apr, 2023