IJCAIJun, 2023

Instruct-FinGPT: 通过指导调整通用大型语言模型进行金融情感分析

PDF
TL;DR该研究介绍了一种简单而有效的指令调整方法，通过将一小部分有监督的金融情感分析数据转化为指令数据并使用这种方法微调通用型的大型语言模型，从而在金融情感分析中取得了显著的进展，特别是在关键情境下，如对数字理解和语境理解等方面。
sentiment analysisfinancial natural language processingsupervised learningllmsinstruction tuning
发现论文，激发创造
  • FinGPT: 金融数据集中开源大型语言模型的指令调整基准

    在自然语言处理（NLP）领域中，基于 GPT 模型在金融领域的潜力日益显现。然而，将这些模型与金融数据集结合存在一些挑战，特别是在确定它们的熟练程度和相关性方面。本文介绍了一种独特的方法，该方法以指令调整范式为基础，专门适用于金融环境中的开源大型语言模型。通过这种方法，我们充分利用开源模型的互操作性，确保了无缝透明的集成。我们首先解释了指令调整范式，强调其对即时集成的有效性。本文提出了一个基准测试方案，用于端到端的训练和测试，采用一种经济有效的进展方式。首先，我们评估了基本能力和基本任务，例如命名实体识别（NER）和情感分析，以增强特性。接下来，我们深入研究了一个全面的模型，通过汇集所有指令调整来执行多任务操作，以检验其多样性。最后，我们通过标记未见任务并结合新颖的数据集探索了零样本能力，以了解在未知领域的适应性。这样的范式巩固了开放性和可重现性的原则，为未来在开源金融大型语言模型（FinLLMs）中的研究奠定了坚实的基础。

    Oct, 2023

  • 金融情绪分析的预训练大型语言模型

    金融情感分析是将金融文本内容分类为情感类别（如积极、消极和中性）。本文聚焦于金融新闻标题的分类，通过利用预训练的大型语言模型以及监督微调技术，实现在少量训练样本情况下显著超越之前最先进的算法。

    Jan, 2024

  • 通过检索增强的大型语言模型增强金融情感分析

    在金融情感分析领域，传统的 NLP 模型受到参数大小和训练数据范围的限制，以及简洁的财经新闻文本缺乏上下文的问题，而无法很好地泛化和提高准确性。为了解决这些挑战，本研究引入了一种基于检索增强的大型语言模型（LLMs）框架，该框架包括一个指导调整的 LLMs 模块和一个从可靠外部来源检索附加上下文的模块。与传统模型和 ChatGPT、LLaMA 等 LLMs 相比，我们的方法在准确性和 F1 得分方面取得了 15％到 48％的性能提升。

    Oct, 2023

  • 金融情感分析的大规模语言模型适应

    该研究针对金融领域进行了大规模语言模型（LLM）的适应性研究，并着重研究了金融情感分析，发现通过精细调整基础模型并结合金融文档和指令数据集，小型 LLM 在性能上与大型模型可媲美，而且在参数和数据方面更高效。此外，研究还展示了如何通过 LLM 生成人工指令以增加指令数据集的样本数量。

    Jan, 2024

  • 金融情绪分析中精调 LLMs 和少样本学习 LLMs 的比较分析

    金融情绪分析在揭示潜在模式和检测新兴趋势方面发挥着重要作用，最近，大型语言模型在不同领域展示了显著的能力，对于各种自然语言处理任务，甚至在零样本和少样本的情境学习中都表现出卓越的能力。然而，在金融情绪分析的背景下，它们的潜力和适用性尚未得到全面探索。为了弥补这一空白，我们采用了两种方法：上下文学习（重点关注 gpt-3.5-turbo 模型）和对金融领域数据集进行微调的 LLM。我们的结果表明，经过微调的较小 LLM 即便参数较少、训练数据集较小，也能够实现与最先进经过微调的 LLM 可比较的性能。此外，LLM 的零样本和一样本性能与经过微调的较小 LLM 和最先进的结果相当。此外，我们的分析表明，增加上下文学习的样本数量，并没有提高金融领域情绪分析的性能。

    Dec, 2023

  • 借助微调的语言模型和提示工程增强零样本加密货币情绪分析

    区块链技术在金融领域产生了革命性影响，通过分散化和透明性，加密货币得到了广泛采用。本文旨在增强加密货币领域情感分析的准确性，研究了对大型语言模型的微调技术。实验结果表明，微调后的模型平均零射击性能提升了 40%，彰显了优化预训练语言模型效率的潜力。此外，本文还探讨了指令微调对不同规模模型的影响，发现较大规模的模型从指令微调中受益，实现了最高平均准确率为 75.16%。相比之下，较小规模的模型由于完全利用模型容量可能出现降低泛化能力的情况。通过实验调查，本文呈现了指令模型在不同指令微调设置下的响应情况，实验结果显示，对于简短简单的指令，模型平均准确率达到了 72.38%。相比之下，针对长且复杂指令，模型的准确率提高了 12%，有效突显了指令特征在提升模型性能方面的重要性。

    Oct, 2023

  • 使用 ChatGPT 改进金融领域的情感分析

    使用大型语言模型 ChatGPT 3.5 进行金融情感分析，特别关注外汇市场，通过零样本提示方法的探究，比起金融文本情感分析模型 FinBERT，ChatGPT 表现出了大约 35% 的情感分类性能提升以及 36% 更高的与市场回报的相关性，强调了提示工程在零样本上下文中的重要性，突显了 ChatGPT 在金融应用中显著提升情感分析的潜力，并分享所使用的数据集以促进该领域的进一步研究与发展。

    Aug, 2023

  • 基于 LLM（GPT-3）的情感分析的优化技术

    本论文旨在探索基于大型预训练语言模型（如 GPT-3）的情感分析优化技术，以提高模型性能和效果，并进一步促进自然语言处理（NLP）的发展。通过介绍情感分析的重要性和传统方法的局限性，介绍了 GPT-3 和微调技术，并详细解释了它们在情感分析中的应用。实验结果表明，微调技术可以优化 GPT-3 模型，在情感分析任务中获得良好的性能。本研究对未来使用大规模语言模型进行情感分析提供了重要的参考。

    May, 2024

  • 大型语言模型的参数高效调优：极端金融数字标注

    我们通过使用大型语言模型（LLMs）的指导调优，研究了用 XBRL 标签自动注释在财务文件中出现的相关数值（GAAP 指标）的问题，提出了一种参数高效的解决方案（FLAN-FinXC），并在两个最近发布的财务数字标签数据集上取得了最新的最佳表现。

    May, 2024

  • InvestLM：一种用于投资的大规模语言模型，利用金融领域指令调整

    我们提出了一个新的金融领域大型语言模型 InvestLM，在 LLaMA-65B 上进行了调优，使用了一个与金融投资相关的精心策划的指令数据集。InvestLM 在理解金融文本方面表现出强大的能力，并对投资相关问题提供有价值的回答。这项工作开发了一个最先进的金融领域语言模型，具有优越的理解金融文本和提供有益投资建议的能力，可能提高金融专业人员的工作效率。

    Sep, 2023