传统方法在信用评级预测中优于生成型大型语言模型

Jul, 2024

传统方法在信用评级预测中优于生成型大型语言模型

Traditional Methods Outperform Generative LLMs at Forecasting Credit Ratings

Felix Drinkall, Janet B. Pierrehumbert, Stefan Zohren

TL;DR本研究解决了生成型大型语言模型在企业信用评级预测中的表现差距。通过对比传统方法和LLMs，发现尽管LLMs擅长文本信息编码，传统的XGBoost方法在数值和多模态数据编码方面表现更佳。研究结果表明，传统方法在此任务中优于当前的LLMs，具有重要的实践意义。

Abstract

Large Language Models (LLMs) have been shown to perform well for many downstream tasks. Transfer learning can enable LLMs to acquire skills that were not targeted during pre-training. In financial contexts, LLMs can sometimes beat well-established benchmarks. This paper investigates ho

发现论文，激发创造

Zero is Not Hero Yet: LLMs金融任务零样本性能基准测试

本研究探究零样本学习在金融领域中的应用，使用ChatGPT等大型语言模型与RoBERTa在有标签数据和无标签数据的情况下进行比较，并针对数据标注、模型表现差距和生成模型在金融领域中的使用可行性等三个问题进行了研究。结果表明，即使在没有标签数据的情况下，ChatGPT的表现仍然很好，但是精细调参的模型通常表现更佳。同时，我们的研究还强调了用生成模型进行注释可能需要大量时间。

May, 2023

ChatGPT 是否是金融专家? 对语言模型在金融自然语言处理的评估

使用FinLMEval框架评估了大型语言模型在金融领域中的能力，并发现虽然一些只有解码器的LLM在大多数金融任务中表现出色，尤其是通过零-shot提示，但它们在处理专有数据集时通常落后于经过精调的专家模型。该研究为在金融领域构建更高级别的LLMs提供了基础评估。

Oct, 2023

金融中的大型语言模型：综述

近期大规模语言模型(LLM)的发展在金融领域开创了人工智能应用的新可能性。本文提供了一份实用的调查报告，关注LLM在金融任务中的两个关键方面：现有解决方案和采用指南。首先，我们回顾了目前在金融领域中采用LLM的方法，包括通过零样本或少样本学习利用预训练模型，对领域特定数据进行微调，以及从头开始训练自定义LLM。我们总结了关键模型并评估了它们在金融自然语言处理任务上的性能改进。其次，我们提出了一个决策框架，以帮助金融业专业人员根据数据、计算和性能需求选择合适的LLM解决方案。该框架提供了从轻量级实验到大规模投资自定义LLM的路径。最后，我们讨论了在金融应用中利用LLM所面临的限制和挑战。总的来说，该调查旨在综述最新技术并为负责任地应用LLM推动金融人工智能提供路线图。

Sep, 2023

金融情绪分析中精调LLMs和少样本学习LLMs的比较分析

金融情绪分析在揭示潜在模式和检测新兴趋势方面发挥着重要作用，最近，大型语言模型在不同领域展示了显著的能力，对于各种自然语言处理任务，甚至在零样本和少样本的情境学习中都表现出卓越的能力。然而，在金融情绪分析的背景下，它们的潜力和适用性尚未得到全面探索。为了弥补这一空白，我们采用了两种方法：上下文学习（重点关注gpt-3.5-turbo模型）和对金融领域数据集进行微调的LLM。我们的结果表明，经过微调的较小LLM即便参数较少、训练数据集较小，也能够实现与最先进经过微调的LLM可比较的性能。此外，LLM的零样本和一样本性能与经过微调的较小LLM和最先进的结果相当。此外，我们的分析表明，增加上下文学习的样本数量，并没有提高金融领域情绪分析的性能。

Dec, 2023

领域特定的LLMs的微调和利用方法

本研究探讨了对预训练大型语言模型（LLMs）进行微调和应用于特定领域的方法，重点关注LLMs、基础模型和特定领域预训练方法的趋势。针对金融行业，研究详细介绍了数据集选择、预处理、模型选择和金融领域LLM微调的关键考虑因素。通过实例展示了LLM微调在金融领域的实际应用，包括股价预测、金融新闻情感分析、自动文档处理、信息提取和客户服务的增强。本研究旨在推进自然语言处理技术在商业领域的应用，建议积极利用LLM在金融服务等行业中的潜力。

Jan, 2024

用LLM彻底改革金融：应用和洞见概述

最近几年，大型语言模型（LLMs）如ChatGPT取得了显著的进展，并在各个领域得到了应用。这些模型建立在Transformer架构基础上，通过广泛的数据集训练，能够有效地理解和生成人类语言。在金融领域，LLMs的部署正在迅速发展。它们被用于自动化财务报告生成、预测市场趋势、分析投资者情绪和提供个性化的财务建议。利用其自然语言处理能力，LLMs可以从海量金融数据中提取关键见解，帮助机构做出明智的投资决策，提高运营效率和客户满意度。本研究全面介绍了LLMs在各种金融任务中的应用。此外，我们通过自然语言指令对多个金融任务进行了全面测试。我们的研究结果表明，GPT-4在各种金融任务中能够有效地遵循指令。这项对LLMs在金融领域的调查和评估旨在加深金融从业者和LLM研究人员对LLMs在金融中的作用的理解，发现新的研究和应用前景，并强调如何利用这些技术来解决金融行业的实际挑战。

Jan, 2024

金融情感分析的大规模语言模型适应

该研究针对金融领域进行了大规模语言模型（LLM）的适应性研究，并着重研究了金融情感分析，发现通过精细调整基础模型并结合金融文档和指令数据集，小型LLM在性能上与大型模型可媲美，而且在参数和数据方面更高效。此外，研究还展示了如何通过LLM生成人工指令以增加指令数据集的样本数量。

Jan, 2024

金融领域大型语言模型综述

金融领域的大型语言模型（LLMs）较少研究，本文综述了金融LLMs的历史、技术、性能、机遇和挑战，包括训练方法、训练数据和性能评估等关键点。

Feb, 2024

金融应用中大型语言模型的调查：进展、前景与挑战

使用大型语言模型（LLMs）在金融领域中的机器学习应用的最新进展，探讨了LLMs在各种金融任务上的应用，重点在于它们改变传统做法和推动创新的潜力，提供了进展和优势的讨论，包括上下文理解、迁移学习的灵活性和复杂情感检测等高级技术，以及将现有文献分类为主要应用领域，包括语言任务、情感分析、金融时间序列、金融推理、基于代理的建模和其他应用，详细介绍了每个应用领域的具体方法论，如文本分析、基于知识的分析、预测、数据增强、规划、决策支持和模拟。此外，还提供了与主流应用相关的数据集、模型资源和有用代码等资源，作为研究人员和实践者的参考。最后，概述了未来研究中的挑战和机遇，特别强调了该领域的几个独特方面。希望我们的工作能促进LLMs在金融领域的采用和进一步发展。

Jun, 2024

对标准统计模型和大型语言模型在时间序列预测中的评估

本研究探讨了大型语言模型（LLMs）在时间序列预测中的应用，重点分析了LLMTIME模型。研究显示，尽管LLMs在生成文本、翻译和情感分析等任务中表现良好，但在处理复杂时间序列数据时，其预测准确性显著下降，尤其是当数据包含周期性和趋势成分时。这一发现强调了针对时间序列的LLMs的局限性和面临的挑战。

Aug, 2024