Jun, 2024

THaLLE: 文本超本地增强大语言扩展 -- 技术报告

PDF
TL;DR我们介绍了金融分析领域的大型语言模型的最新进展和应用，并介绍了通过 Fine-tuning 技术，在模拟 Chartered Financial Analyst 考试上取得最佳性能的 8B 大型语言模型。我们还引入了 Flare CFA 数据集，用于评估语言模型作为金融顾问的能力。
large language modelscompute costfinancial analysischartered financial analysttext hyperlocally augmented large language extension
发现论文，激发创造
  • 面向数据的金融大型语言模型

    通过数据中心的方法，我们提出了一种能够更好地处理金融任务的金融 LLM（FLLM）模型，通过多任务提示优化来对数据进行预处理和预理解，并通过推断增强推理（AAR）自动生成训练数据，实验结果表明，我们的数据中心 FLLM 模型显著优于基于原始文本的金融 LLMs，在金融分析和解释任务上达到了最新水平，我们还开源了一个新的金融分析和解释基准，这种方法为解锁 LLMs 在复杂现实领域的潜力提供了希望。

    Oct, 2023

  • CatMemo 通过数据融合在金融应用中对大型语言模型进行微调

    本文研究了大型语言模型在金融分析中的应用，通过 IJCAI-2024 FinLLM 挑战模拟了金融分类、金融文本摘要和个股交易等关键任务，并采用 Llama3-8B 和 Mistral-7B 作为基本模型，通过 Parameter Efficient Fine-Tuning（PEFT）和 Low-Rank Adaptation（LoRA）方法进行微调，将任务一和任务二的数据集进行融合，综合和全面地解决了这些多样且复杂的金融任务，展示了大型语言模型在提高准确性和决策能力方面的潜力。

    Jul, 2024

  • 金融中的大型语言模型：综述

    近期大规模语言模型 (LLM) 的发展在金融领域开创了人工智能应用的新可能性。本文提供了一份实用的调查报告，关注 LLM 在金融任务中的两个关键方面：现有解决方案和采用指南。首先，我们回顾了目前在金融领域中采用 LLM 的方法，包括通过零样本或少样本学习利用预训练模型，对领域特定数据进行微调，以及从头开始训练自定义 LLM。我们总结了关键模型并评估了它们在金融自然语言处理任务上的性能改进。其次，我们提出了一个决策框架，以帮助金融业专业人员根据数据、计算和性能需求选择合适的 LLM 解决方案。该框架提供了从轻量级实验到大规模投资自定义 LLM 的路径。最后，我们讨论了在金融应用中利用 LLM 所面临的限制和挑战。总的来说，该调查旨在综述最新技术并为负责任地应用 LLM 推动金融人工智能提供路线图。

    Sep, 2023

  • 金融应用中大型语言模型的调查：进展、前景与挑战

    使用大型语言模型（LLMs）在金融领域中的机器学习应用的最新进展，探讨了 LLMs 在各种金融任务上的应用，重点在于它们改变传统做法和推动创新的潜力，提供了进展和优势的讨论，包括上下文理解、迁移学习的灵活性和复杂情感检测等高级技术，以及将现有文献分类为主要应用领域，包括语言任务、情感分析、金融时间序列、金融推理、基于代理的建模和其他应用，详细介绍了每个应用领域的具体方法论，如文本分析、基于知识的分析、预测、数据增强、规划、决策支持和模拟。此外，还提供了与主流应用相关的数据集、模型资源和有用代码等资源，作为研究人员和实践者的参考。最后，概述了未来研究中的挑战和机遇，特别强调了该领域的几个独特方面。希望我们的工作能促进 LLMs 在金融领域的采用和进一步发展。

    Jun, 2024

  • 通过检索增强的大型语言模型增强金融情感分析

    在金融情感分析领域，传统的 NLP 模型受到参数大小和训练数据范围的限制，以及简洁的财经新闻文本缺乏上下文的问题，而无法很好地泛化和提高准确性。为了解决这些挑战，本研究引入了一种基于检索增强的大型语言模型（LLMs）框架，该框架包括一个指导调整的 LLMs 模块和一个从可靠外部来源检索附加上下文的模块。与传统模型和 ChatGPT、LLaMA 等 LLMs 相比，我们的方法在准确性和 F1 得分方面取得了 15％到 48％的性能提升。

    Oct, 2023

  • 为金融中的表格数据分析赋予语言模型工具使用能力

    通过使用外部工具对语言模型进行增强，可缓解传播误差和幻觉等挑战，特别是在数据异构、精确性至关重要的金融领域。我们将监督微调应用于 LLaMA-2 13B Chat 模型，使其成为 ' 任务路由器 ' 和 ' 任务解决器 '。通过使用金融领域的问答数据集，我们的模型 Raven 在改进基准模型和仅进行监督微调的基线模型上分别显示了 35.2% 和 5.06% 的改进，并且与 GPT-3.5 取得了很好的竞争效果。据我们所知，这是首个探索对金融领域的语言模型进行工具增强的研究。

    Jan, 2024

  • TALM: 工具增强型语言模型

    本文介绍了一种基于迭代 “自我对弈” 技术的文本增强语言模型方法，使用不可微分的工具扩充语言模型功能，成功在知识丰富型问答和简单工具所需的数学任务中具有很强的表现力，优于非增强型语言模型，在 QA 和数学任务的超越分布推理方面更是取得了成功，证明了工具增强型语言模型是一种非常有前景的方法，可以使语言模型在不依赖于模型（尺度）的基础上具备更多的能力。

    May, 2022

  • 金融领域大型语言模型综述

    金融领域的大型语言模型（LLMs）较少研究，本文综述了金融 LLMs 的历史、技术、性能、机遇和挑战，包括训练方法、训练数据和性能评估等关键点。

    Feb, 2024

  • 大型语言模型用于进行高级文本分析信息系统研究

    数字内容的指数级增长引发了大规模文本数据集，需要先进的分析方法。大型语言模型作为处理和提取海量非结构化文本数据集的工具已经出现。为了帮助信息系统研究了解如何操作化大型语言模型，我们提出了一个用于信息系统研究的文本分析框架（TAISR）。我们的框架为如何进行有意义的基于文本的信息系统研究提供了详细的建议，这些建议基于信息系统和大型语言模型的文献。我们在商业智能领域进行了三个案例研究，用我们的 TAISR 框架来展示其在几个信息系统研究背景下的应用。我们还概述了采用大型语言模型进行信息系统研究可能面临的挑战和局限。通过提供一种系统化的方法并证明其实用性，我们的 TAISR 框架有助于未来将强大的大型语言模型添加到文本分析的信息系统研究流程中。

    Dec, 2023

  • LLM-in-the-loop：利用大型语言模型进行主题分析

    使用 LLM-in-the-loop 人工智能协作框架进行主题分析，能够在减少人力和时间需求的同时，获得与人工编码者相似的编码质量。

    Oct, 2023