本文介绍了BloombergGPT， 这是一个在大量金融数据上训练得到的具有500亿参数的语言模型。通过使用混合数据集进行训练，我们得到的模型不仅在金融任务上表现出色，还在普遍的LLM基准测试上得到了不错的表现，同时也解释了模型构建、训练过程和评估方法。

Mar, 2023

使用FinLMEval框架评估了大型语言模型在金融领域中的能力，并发现虽然一些只有解码器的LLM在大多数金融任务中表现出色，尤其是通过零-shot提示，但它们在处理专有数据集时通常落后于经过精调的专家模型。该研究为在金融领域构建更高级别的LLMs提供了基础评估。

Oct, 2023

通过数据中心的方法，我们提出了一种能够更好地处理金融任务的金融LLM（FLLM）模型，通过多任务提示优化来对数据进行预处理和预理解，并通过推断增强推理（AAR）自动生成训练数据，实验结果表明，我们的数据中心FLLM模型显著优于基于原始文本的金融LLMs，在金融分析和解释任务上达到了最新水平，我们还开源了一个新的金融分析和解释基准，这种方法为解锁LLMs在复杂现实领域的潜力提供了希望。

Oct, 2023

近期大规模语言模型(LLM)的发展在金融领域开创了人工智能应用的新可能性。本文提供了一份实用的调查报告，关注LLM在金融任务中的两个关键方面：现有解决方案和采用指南。首先，我们回顾了目前在金融领域中采用LLM的方法，包括通过零样本或少样本学习利用预训练模型，对领域特定数据进行微调，以及从头开始训练自定义LLM。我们总结了关键模型并评估了它们在金融自然语言处理任务上的性能改进。其次，我们提出了一个决策框架，以帮助金融业专业人员根据数据、计算和性能需求选择合适的LLM解决方案。该框架提供了从轻量级实验到大规模投资自定义LLM的路径。最后，我们讨论了在金融应用中利用LLM所面临的限制和挑战。总的来说，该调查旨在综述最新技术并为负责任地应用LLM推动金融人工智能提供路线图。

Sep, 2023

本研究探讨了对预训练大型语言模型（LLMs）进行微调和应用于特定领域的方法，重点关注LLMs、基础模型和特定领域预训练方法的趋势。针对金融行业，研究详细介绍了数据集选择、预处理、模型选择和金融领域LLM微调的关键考虑因素。通过实例展示了LLM微调在金融领域的实际应用，包括股价预测、金融新闻情感分析、自动文档处理、信息提取和客户服务的增强。本研究旨在推进自然语言处理技术在商业领域的应用，建议积极利用LLM在金融服务等行业中的潜力。

Jan, 2024

基于大型语言模型，通过使用常见的金融公式生成金融问题回答数据，FinLLMs方法提供一种解决数据资源有限和注释成本高昂问题的方法。实验结果表明，由FinLLMs生成的合成数据有效地提升了金融领域几个大规模数值推理模型的性能，超过了两个常用基准金融问题回答数据集。

Jan, 2024

该研究针对金融领域进行了大规模语言模型（LLM）的适应性研究，并着重研究了金融情感分析，发现通过精细调整基础模型并结合金融文档和指令数据集，小型LLM在性能上与大型模型可媲美，而且在参数和数据方面更高效。此外，研究还展示了如何通过LLM生成人工指令以增加指令数据集的样本数量。

Jan, 2024

金融领域的大型语言模型（LLMs）较少研究，本文综述了金融LLMs的历史、技术、性能、机遇和挑战，包括训练方法、训练数据和性能评估等关键点。

Feb, 2024

数据标注是提高机器学习模型效果的标记或标签化原始数据的过程，使用大型语言模型（LLMs）可以革新和自动化数据标注过程。本研究着重于LLM在数据标注中的特定用途，探讨了LLM基于数据标注、评估LLM生成的标注以及使用LLM生成的标注进行学习的方法。此外，还提供了LLM在数据标注中的方法学分类、包含LLM生成标注的模型的学习策略综述，并详细讨论了使用LLM进行数据标注所面临的主要挑战和限制。本文旨在为研究人员和从业者指导利用最新的LLMs进行数据标注，推动该关键领域的未来发展。

Feb, 2024

使用大型语言模型（LLMs）在金融领域中的机器学习应用的最新进展，探讨了LLMs在各种金融任务上的应用，重点在于它们改变传统做法和推动创新的潜力，提供了进展和优势的讨论，包括上下文理解、迁移学习的灵活性和复杂情感检测等高级技术，以及将现有文献分类为主要应用领域，包括语言任务、情感分析、金融时间序列、金融推理、基于代理的建模和其他应用，详细介绍了每个应用领域的具体方法论，如文本分析、基于知识的分析、预测、数据增强、规划、决策支持和模拟。此外，还提供了与主流应用相关的数据集、模型资源和有用代码等资源，作为研究人员和实践者的参考。最后，概述了未来研究中的挑战和机遇，特别强调了该领域的几个独特方面。希望我们的工作能促进LLMs在金融领域的采用和进一步发展。

Jun, 2024