Jan, 2024

金融情感分析的异构 LLM 智能体设计

PDF
TL;DR使用大型语言模型（LLMs）而无需微调，在金融情感分析（FSA）中设计了一个基于异构 LLM 代理的设计框架，该框架在涉及大量讨论时能够获得更高的准确性，为 LLMs 的基于 FSA 的设计奠定了基础并开辟了新的途径。
large language modelsfinancial sentiment analysisdesign frameworkllms-based fsaheterogeneous llm agents
发现论文，激发创造
  • 金融情感分析的大规模语言模型适应

    该研究针对金融领域进行了大规模语言模型（LLM）的适应性研究，并着重研究了金融情感分析，发现通过精细调整基础模型并结合金融文档和指令数据集，小型 LLM 在性能上与大型模型可媲美，而且在参数和数据方面更高效。此外，研究还展示了如何通过 LLM 生成人工指令以增加指令数据集的样本数量。

    Jan, 2024

  • 金融情绪分析的预训练大型语言模型

    金融情感分析是将金融文本内容分类为情感类别（如积极、消极和中性）。本文聚焦于金融新闻标题的分类，通过利用预训练的大型语言模型以及监督微调技术，实现在少量训练样本情况下显著超越之前最先进的算法。

    Jan, 2024

  • 通过检索增强的大型语言模型增强金融情感分析

    在金融情感分析领域，传统的 NLP 模型受到参数大小和训练数据范围的限制，以及简洁的财经新闻文本缺乏上下文的问题，而无法很好地泛化和提高准确性。为了解决这些挑战，本研究引入了一种基于检索增强的大型语言模型（LLMs）框架，该框架包括一个指导调整的 LLMs 模块和一个从可靠外部来源检索附加上下文的模块。与传统模型和 ChatGPT、LLaMA 等 LLMs 相比，我们的方法在准确性和 F1 得分方面取得了 15％到 48％的性能提升。

    Oct, 2023

  • 金融中的大型语言模型：综述

    近期大规模语言模型 (LLM) 的发展在金融领域开创了人工智能应用的新可能性。本文提供了一份实用的调查报告，关注 LLM 在金融任务中的两个关键方面：现有解决方案和采用指南。首先，我们回顾了目前在金融领域中采用 LLM 的方法，包括通过零样本或少样本学习利用预训练模型，对领域特定数据进行微调，以及从头开始训练自定义 LLM。我们总结了关键模型并评估了它们在金融自然语言处理任务上的性能改进。其次，我们提出了一个决策框架，以帮助金融业专业人员根据数据、计算和性能需求选择合适的 LLM 解决方案。该框架提供了从轻量级实验到大规模投资自定义 LLM 的路径。最后，我们讨论了在金融应用中利用 LLM 所面临的限制和挑战。总的来说，该调查旨在综述最新技术并为负责任地应用 LLM 推动金融人工智能提供路线图。

    Sep, 2023

  • 面向数据的金融大型语言模型

    通过数据中心的方法，我们提出了一种能够更好地处理金融任务的金融 LLM（FLLM）模型，通过多任务提示优化来对数据进行预处理和预理解，并通过推断增强推理（AAR）自动生成训练数据，实验结果表明，我们的数据中心 FLLM 模型显著优于基于原始文本的金融 LLMs，在金融分析和解释任务上达到了最新水平，我们还开源了一个新的金融分析和解释基准，这种方法为解锁 LLMs 在复杂现实领域的潜力提供了希望。

    Oct, 2023

  • 金融应用中大型语言模型的调查：进展、前景与挑战

    使用大型语言模型（LLMs）在金融领域中的机器学习应用的最新进展，探讨了 LLMs 在各种金融任务上的应用，重点在于它们改变传统做法和推动创新的潜力，提供了进展和优势的讨论，包括上下文理解、迁移学习的灵活性和复杂情感检测等高级技术，以及将现有文献分类为主要应用领域，包括语言任务、情感分析、金融时间序列、金融推理、基于代理的建模和其他应用，详细介绍了每个应用领域的具体方法论，如文本分析、基于知识的分析、预测、数据增强、规划、决策支持和模拟。此外，还提供了与主流应用相关的数据集、模型资源和有用代码等资源，作为研究人员和实践者的参考。最后，概述了未来研究中的挑战和机遇，特别强调了该领域的几个独特方面。希望我们的工作能促进 LLMs 在金融领域的采用和进一步发展。

    Jun, 2024

  • 金融情绪分析中精调 LLMs 和少样本学习 LLMs 的比较分析

    金融情绪分析在揭示潜在模式和检测新兴趋势方面发挥着重要作用，最近，大型语言模型在不同领域展示了显著的能力，对于各种自然语言处理任务，甚至在零样本和少样本的情境学习中都表现出卓越的能力。然而，在金融情绪分析的背景下，它们的潜力和适用性尚未得到全面探索。为了弥补这一空白，我们采用了两种方法：上下文学习（重点关注 gpt-3.5-turbo 模型）和对金融领域数据集进行微调的 LLM。我们的结果表明，经过微调的较小 LLM 即便参数较少、训练数据集较小，也能够实现与最先进经过微调的 LLM 可比较的性能。此外，LLM 的零样本和一样本性能与经过微调的较小 LLM 和最先进的结果相当。此外，我们的分析表明，增加上下文学习的样本数量，并没有提高金融领域情绪分析的性能。

    Dec, 2023

  • 大型语言模型作为机械设计师

    本研究提出了一种新颖的方法，将预训练的 LLMs 与有限元模块集成。FEM 模块评估每个设计并提供必要的反馈，引导 LLMs 不断学习、规划、生成和优化设计，无需进行特定领域的训练。我们通过对桁架结构的迭代优化进行实证研究，展示了提出的框架的有效性，显示它能够根据结构化反馈和标准进行推理和改进设计。我们的结果显示，这些基于 LLM 的代理能够以高达 90% 的成功率生成符合自然语言规范的桁架设计，但成功率根据应用的约束条件而变化。我们通过采用基于提示的优化技术表明，当向 LLM 代理提供解决方案 - 评分对以迭代地改进设计以满足规范时，它们具备优化行为能力。LLM 代理能够生成可行的设计并根据其内在推理能力进行优化的能力，突显其实现自主设计策略的潜力。

    Apr, 2024

  • 大语言模型时代的情感分析：现实检验

    本文讨论了大型语言模型在情感分析任务中的有效性，对 13 项不同的任务进行了评估，在简单任务中表现良好，但在涉及更深层次理解和结构化情感信息方面仍有待提高；然而，在资源有限的情况下，大型语言模型表现出色，提供了潜在可能性。该研究提出了一个新的基准评估框架 SentiEval。

    May, 2023

  • LLM 谈判中的情感分析

    该论文介绍了一种用于情感分析的多 LLM 协商框架，其中包括一个推理注入生成器来提供决策及其理由，以及一个评估生成器可信度的解释推导鉴别器，通过迭代使生成器和鉴别器达成一致，从而解决了情感分析中的单一决策缺陷的问题。实验证明，该方法在各种情感分析基准上表现出更好的性能。

    Nov, 2023