本文对大规模语言模型在金融领域中的应用进行了可行性研究，探讨了任务形式、数据生成、提示方法和评估能力等方面，发现在 6B 参数时可以生成相关的金融推理结果，并提供了名为 sFIOG 的公开数据集，以支持未来的研究。

Apr, 2023

通过数据中心的方法，我们提出了一种能够更好地处理金融任务的金融 LLM（FLLM）模型，通过多任务提示优化来对数据进行预处理和预理解，并通过推断增强推理（AAR）自动生成训练数据，实验结果表明，我们的数据中心 FLLM 模型显著优于基于原始文本的金融 LLMs，在金融分析和解释任务上达到了最新水平，我们还开源了一个新的金融分析和解释基准，这种方法为解锁 LLMs 在复杂现实领域的潜力提供了希望。

Oct, 2023

通过对四个金融表问答数据集进行广泛实验，这项研究探讨了大型语言模型在数学推理、结构化表格和非结构化文本融合方面的能力。研究集中分析了模型对表格复杂度的敏感性以及随着算术推理步骤增加的性能变化。结果揭示了大型语言模型在处理半结构化表格中复杂数学场景时的能力和限制，并提出了一种针对半结构化文档的新型提示技术，其性能与其它基准线相媲美或超越，同时提供对大型语言模型在此任务中的细致理解。

Feb, 2024

我们引入了一种基于大型语言模型的方法来回答需要多跳数字推理的复杂问题。我们的方法使用新颖的零样本提示，将所需的推理编码到 Python 程序或领域特定语言中，并通过程序解释器执行生成的程序，从而减轻了大型语言模型在执行准确的算术计算时的局限性。我们在三个财务数据集上评估了所提出的方法，使用一些最近开发的生成式预训练变压器模型，并与各种零样本基准进行比较。实验结果表明，我们的方法显著提高了大型语言模型在所有基线上的准确性。我们对结果进行了详细分析，生成支持我们发现的洞察。我们的方法的成功证明，通过设计有效利用嵌入在大型语言模型中的知识的零样本提示，可以提取复杂的领域特定数值推理的巨大潜力。

Nov, 2023

金融领域的大型语言模型（LLMs）较少研究，本文综述了金融 LLMs 的历史、技术、性能、机遇和挑战，包括训练方法、训练数据和性能评估等关键点。

Feb, 2024

财务报告通过分析公司的运营情况提供重要见解，但通常长度过长，约 30 至 40 页，对于动态市场的快速决策提出了挑战。为解决这个问题，我们利用经过微调的大型语言模型（LLM）从用户提出的问题中提炼关键指标和运营指标。我们设计了一种定位关键数据的方法，并利用 FinQA 数据集对 Llama-2 7B 和 T5 模型进行微调，以进行定制化问答。在最终的数值回答上取得了与基准相当的结果，在数值推理和计算上具有竞争力的准确性。

Dec, 2023

近期大规模语言模型 (LLM) 的发展在金融领域开创了人工智能应用的新可能性。本文提供了一份实用的调查报告，关注 LLM 在金融任务中的两个关键方面：现有解决方案和采用指南。首先，我们回顾了目前在金融领域中采用 LLM 的方法，包括通过零样本或少样本学习利用预训练模型，对领域特定数据进行微调，以及从头开始训练自定义 LLM。我们总结了关键模型并评估了它们在金融自然语言处理任务上的性能改进。其次，我们提出了一个决策框架，以帮助金融业专业人员根据数据、计算和性能需求选择合适的 LLM 解决方案。该框架提供了从轻量级实验到大规模投资自定义 LLM 的路径。最后，我们讨论了在金融应用中利用 LLM 所面临的限制和挑战。总的来说，该调查旨在综述最新技术并为负责任地应用 LLM 推动金融人工智能提供路线图。

Sep, 2023

我们提出了一种新颖的大型语言模型（NumLLM），用于改进金融领域的理解能力，该模型通过在构建的金融语料库上进行微调以适应数字变量，并在金融问答基准上取得了最佳性能表现。

May, 2024

通过使用外部工具对语言模型进行增强，可缓解传播误差和幻觉等挑战，特别是在数据异构、精确性至关重要的金融领域。我们将监督微调应用于 LLaMA-2 13B Chat 模型，使其成为 ' 任务路由器 ' 和 ' 任务解决器 '。通过使用金融领域的问答数据集，我们的模型 Raven 在改进基准模型和仅进行监督微调的基线模型上分别显示了 35.2% 和 5.06% 的改进，并且与 GPT-3.5 取得了很好的竞争效果。据我们所知，这是首个探索对金融领域的语言模型进行工具增强的研究。

Jan, 2024

研究通过比较三种大型语言模型与专家标注者和众包工人标注的金融文档，发现大型语言模型可作为提取金融文档中关系的高效数据标注工具，并引入了一个可靠性指标用于识别需要专家关注的输出，提供了在特定领域设置中自动化注释的收集和使用的建议。

Mar, 2024