金融知识大语言模型
近期大规模语言模型 (LLM) 的发展在金融领域开创了人工智能应用的新可能性。本文提供了一份实用的调查报告，关注 LLM 在金融任务中的两个关键方面：现有解决方案和采用指南。首先，我们回顾了目前在金融领域中采用 LLM 的方法，包括通过零样本或少样本学习利用预训练模型，对领域特定数据进行微调，以及从头开始训练自定义 LLM。我们总结了关键模型并评估了它们在金融自然语言处理任务上的性能改进。其次，我们提出了一个决策框架，以帮助金融业专业人员根据数据、计算和性能需求选择合适的 LLM 解决方案。该框架提供了从轻量级实验到大规模投资自定义 LLM 的路径。最后，我们讨论了在金融应用中利用 LLM 所面临的限制和挑战。总的来说，该调查旨在综述最新技术并为负责任地应用 LLM 推动金融人工智能提供路线图。
Sep, 2023
通过数据中心的方法，我们提出了一种能够更好地处理金融任务的金融 LLM（FLLM）模型，通过多任务提示优化来对数据进行预处理和预理解，并通过推断增强推理（AAR）自动生成训练数据，实验结果表明，我们的数据中心 FLLM 模型显著优于基于原始文本的金融 LLMs，在金融分析和解释任务上达到了最新水平，我们还开源了一个新的金融分析和解释基准，这种方法为解锁 LLMs 在复杂现实领域的潜力提供了希望。
Oct, 2023
基于大型语言模型，通过使用常见的金融公式生成金融问题回答数据，FinLLMs 方法提供一种解决数据资源有限和注释成本高昂问题的方法。实验结果表明，由 FinLLMs 生成的合成数据有效地提升了金融领域几个大规模数值推理模型的性能，超过了两个常用基准金融问题回答数据集。
Jan, 2024
使用大型语言模型（LLMs）在金融领域中的机器学习应用的最新进展，探讨了 LLMs 在各种金融任务上的应用，重点在于它们改变传统做法和推动创新的潜力，提供了进展和优势的讨论，包括上下文理解、迁移学习的灵活性和复杂情感检测等高级技术，以及将现有文献分类为主要应用领域，包括语言任务、情感分析、金融时间序列、金融推理、基于代理的建模和其他应用，详细介绍了每个应用领域的具体方法论，如文本分析、基于知识的分析、预测、数据增强、规划、决策支持和模拟。此外，还提供了与主流应用相关的数据集、模型资源和有用代码等资源，作为研究人员和实践者的参考。最后，概述了未来研究中的挑战和机遇，特别强调了该领域的几个独特方面。希望我们的工作能促进 LLMs 在金融领域的采用和进一步发展。
Jun, 2024
本文对大规模语言模型在金融领域中的应用进行了可行性研究，探讨了任务形式、数据生成、提示方法和评估能力等方面，发现在 6B 参数时可以生成相关的金融推理结果，并提供了名为 sFIOG 的公开数据集，以支持未来的研究。
Apr, 2023
最近几年，大型语言模型（LLMs）如 ChatGPT 取得了显著的进展，并在各个领域得到了应用。这些模型建立在 Transformer 架构基础上，通过广泛的数据集训练，能够有效地理解和生成人类语言。在金融领域，LLMs 的部署正在迅速发展。它们被用于自动化财务报告生成、预测市场趋势、分析投资者情绪和提供个性化的财务建议。利用其自然语言处理能力，LLMs 可以从海量金融数据中提取关键见解，帮助机构做出明智的投资决策，提高运营效率和客户满意度。本研究全面介绍了 LLMs 在各种金融任务中的应用。此外，我们通过自然语言指令对多个金融任务进行了全面测试。我们的研究结果表明，GPT-4 在各种金融任务中能够有效地遵循指令。这项对 LLMs 在金融领域的调查和评估旨在加深金融从业者和 LLM 研究人员对 LLMs 在金融中的作用的理解，发现新的研究和应用前景，并强调如何利用这些技术来解决金融行业的实际挑战。
Jan, 2024
该研究针对金融领域进行了大规模语言模型（LLM）的适应性研究，并着重研究了金融情感分析，发现通过精细调整基础模型并结合金融文档和指令数据集，小型 LLM 在性能上与大型模型可媲美，而且在参数和数据方面更高效。此外，研究还展示了如何通过 LLM 生成人工指令以增加指令数据集的样本数量。
Jan, 2024
基于大型语言模型 (LLM) 和 BERT 的知识库问答系统 (LB-KBQA) 利用生成式人工智能技术能够检测新出现的意图并获取新知识，在金融领域问题回答实验中展示出卓越的有效性。
Feb, 2024
本研究通过利用法律和金融数据的半结构化特点，实现有效检索相关背景知识来解决将现有问答系统应用于法律和金融等专业领域所面临的挑战，使得大型语言模型在领域特定的问答任务中表现优异，同时提供有用的答案解释，鼓励将大型语言模型整合到未来的法律和金融自然语言处理系统中进行研究。
Oct, 2023