Jun, 2024

优化 Gemma-7B 以提升金融新闻头条的情感分析

PDF
TL;DR利用情感分析应用于金融新闻标题以了解投资者情绪，通过自然语言处理和大型语言模型，从零售投资者的角度分析情感，使用金融短语库数据集进行情感分类，证明了 Fine-tuned 的 gemma-7b 模型表现最佳，准确度、召回率和 F1 分数均最高，展示了该模型在捕捉金融情感细微差别方面的鲁棒性，能够提供市场洞察、风险管理和辅助投资决策的强大工具，强调了先进的大型语言模型在金融行业中分析和解读金融信息方面的潜力。
发现论文，激发创造
  • 金融情绪分析的预训练大型语言模型

    金融情感分析是将金融文本内容分类为情感类别（如积极、消极和中性）。本文聚焦于金融新闻标题的分类，通过利用预训练的大型语言模型以及监督微调技术，实现在少量训练样本情况下显著超越之前最先进的算法。

    Jan, 2024

  • 通过检索增强的大型语言模型增强金融情感分析

    在金融情感分析领域，传统的 NLP 模型受到参数大小和训练数据范围的限制，以及简洁的财经新闻文本缺乏上下文的问题，而无法很好地泛化和提高准确性。为了解决这些挑战，本研究引入了一种基于检索增强的大型语言模型（LLMs）框架，该框架包括一个指导调整的 LLMs 模块和一个从可靠外部来源检索附加上下文的模块。与传统模型和 ChatGPT、LLaMA 等 LLMs 相比，我们的方法在准确性和 F1 得分方面取得了 15％到 48％的性能提升。

    Oct, 2023

  • 使用经过微调的 Llama 2 GPT 模型的金融新闻分析

    Llama 2 大型语言模型的精细调整为金融新闻的多任务分析提供了可能性，根据 PEFT/LoRA 的方法进行了精细调整，研究中对以下任务进行了调整：从金融市场角度分析文本，突出文本的主要观点，总结文本和提取带有适当情感的命名实体。研究结果表明，经过精细调整的 Llama 2 模型可以以特定的响应结构执行多任务金融新闻分析，其中部分响应可以是结构化文本，另一部分数据可以使用 JSON 格式进行进一步处理。提取出的命名实体情感可以被视为具有定量目标变量的监督式机器学习模型中的预测特征。

    Aug, 2023

  • 金融情感分析的大规模语言模型适应

    该研究针对金融领域进行了大规模语言模型（LLM）的适应性研究，并着重研究了金融情感分析，发现通过精细调整基础模型并结合金融文档和指令数据集，小型 LLM 在性能上与大型模型可媲美，而且在参数和数据方面更高效。此外，研究还展示了如何通过 LLM 生成人工指令以增加指令数据集的样本数量。

    Jan, 2024

  • FinLlama：用于算法交易应用的金融情感分类

    利用基于 Llama 2 7B 的新方法构建了 FinLlama，以提供增强投资组合管理决策和增加市场回报的框架。

    Mar, 2024

  • 金融情绪分析中精调 LLMs 和少样本学习 LLMs 的比较分析

    金融情绪分析在揭示潜在模式和检测新兴趋势方面发挥着重要作用，最近，大型语言模型在不同领域展示了显著的能力，对于各种自然语言处理任务，甚至在零样本和少样本的情境学习中都表现出卓越的能力。然而，在金融情绪分析的背景下，它们的潜力和适用性尚未得到全面探索。为了弥补这一空白，我们采用了两种方法：上下文学习（重点关注 gpt-3.5-turbo 模型）和对金融领域数据集进行微调的 LLM。我们的结果表明，经过微调的较小 LLM 即便参数较少、训练数据集较小，也能够实现与最先进经过微调的 LLM 可比较的性能。此外，LLM 的零样本和一样本性能与经过微调的较小 LLM 和最先进的结果相当。此外，我们的分析表明，增加上下文学习的样本数量，并没有提高金融领域情绪分析的性能。

    Dec, 2023

  • Instruct-FinGPT: 通过指导调整通用大型语言模型进行金融情感分析

    该研究介绍了一种简单而有效的指令调整方法，通过将一小部分有监督的金融情感分析数据转化为指令数据并使用这种方法微调通用型的大型语言模型，从而在金融情感分析中取得了显著的进展，特别是在关键情境下，如对数字理解和语境理解等方面。

    Jun, 2023

  • SEntFiN 1.0：金融新闻情感分析中的实体感知

    本文探讨了在新闻标题中进行细粒度金融情感分析的任务和挑战，提出 SAEntFiN 1.0 数据集，并使用特征为基础的方法提取实体相关情感。使用 12 种不同的学习方案验证实验结果，RoBERTa 和 finBERT 的平均准确率和 F1 分数最高，同时使用 210,000 多个实体情感预测验证了情感对市场的影响。

    May, 2023

  • FinBERT：使用预训练语言模型进行金融情感分析

    本文提出了一种名为 FinBERT 的基于 BERT 预训练语言模型，用于在金融领域处理自然语言处理任务，实验结果表明它在当前两个金融情感分析数据集上的表现优于现有的机器学习方法。

    Aug, 2019

  • 多模式基本投资研究的智能生成算法

    通过使用语言模型，该研究旨在自动化信息摘要和投资理念生成，以评估 Fine-tuning 方法在 Llama2 基础模型上实现特定应用层面目标的有效性，并通过采用最先进的生成建模技术开发 AI 代理原型，解放人类投资者，使他们能够集中于高层级战略思考。

    Dec, 2023