Jul, 2024

基于大型语言模型的KemenkeuGPT：利用印度尼西亚政府财务数据和法规提升决策能力

HTML
PDF
TL;DR本研究针对印度尼西亚政府财务数据和法规的复杂性和动态性对决策造成的挑战，探索了大型语言模型（LLMs）的应用。通过迭代开发KemenkeuGPT，结合Retrieval-Augmented Generation（RAG）技术，研究发现该模型的准确性从35%提高到61%，显示出其作为决策工具的潜力，有望显著提升基于证据的政策制定和公共服务。
发现论文，激发创造
  • PIXIU：面向金融领域的大型语言模型、指令数据和评估基准

    介绍了一个名为PIXIU的综合框架，包括首个用于金融领域的基于fine-tuning的LLM（FinMA）、用于fine-tuning的指导数据和包含5个NLP任务和1个预测任务的评估基准。

    Jun, 2023

  • 减少使用大型语言模型从财务报告中提取信息中的错觉

    利用大型语言模型提取财务分析师关键信息，通过结合检索增强生成技术和元数据减少幻觉，高效地从公司财报问答部分提取准确信息。

    Oct, 2023

  • ChatGPT 是否是金融专家? 对语言模型在金融自然语言处理的评估

    使用FinLMEval框架评估了大型语言模型在金融领域中的能力，并发现虽然一些只有解码器的LLM在大多数金融任务中表现出色，尤其是通过零-shot提示，但它们在处理专有数据集时通常落后于经过精调的专家模型。该研究为在金融领域构建更高级别的LLMs提供了基础评估。

    Oct, 2023

  • 金融中的大型语言模型：综述

    近期大规模语言模型(LLM)的发展在金融领域开创了人工智能应用的新可能性。本文提供了一份实用的调查报告，关注LLM在金融任务中的两个关键方面：现有解决方案和采用指南。首先，我们回顾了目前在金融领域中采用LLM的方法，包括通过零样本或少样本学习利用预训练模型，对领域特定数据进行微调，以及从头开始训练自定义LLM。我们总结了关键模型并评估了它们在金融自然语言处理任务上的性能改进。其次，我们提出了一个决策框架，以帮助金融业专业人员根据数据、计算和性能需求选择合适的LLM解决方案。该框架提供了从轻量级实验到大规模投资自定义LLM的路径。最后，我们讨论了在金融应用中利用LLM所面临的限制和挑战。总的来说，该调查旨在综述最新技术并为负责任地应用LLM推动金融人工智能提供路线图。

    Sep, 2023

  • 金融领域大型语言模型综述

    金融领域的大型语言模型（LLMs）较少研究，本文综述了金融LLMs的历史、技术、性能、机遇和挑战，包括训练方法、训练数据和性能评估等关键点。

    Feb, 2024

  • 大型语言模型作为金融数据注释工具的效果与效率研究

    研究通过比较三种大型语言模型与专家标注者和众包工人标注的金融文档，发现大型语言模型可作为提取金融文档中关系的高效数据标注工具，并引入了一个可靠性指标用于识别需要专家关注的输出，提供了在特定领域设置中自动化注释的收集和使用的建议。

    Mar, 2024

  • 关于金融、医疗和法律领域的大型语言模型的调查

    在精密型行业中，通过对大型语言模型的调查，本文详细探讨了这些模型的方法、应用、挑战和未来机遇，并强调了大型语言模型在医疗保健、金融和法律领域中提高诊断和治疗方法、创新金融分析和完善法律解释和遵从策略方面的重要作用。此外，我们还对这些领域中大型语言模型应用的伦理问题进行了批判性检查，并指出了现有的伦理关切和尊重监管规范的透明、公正和强大的人工智能系统的需求。通过对当前文献和实际应用的全面综述，我们展示了大型语言模型的变革性影响，并勾勒了跨学科合作、方法论进步和伦理警觉的必要性。通过这种视角，我们旨在引发对话，激励未来致力于最大化大型语言模型的利益并降低其在这些精密型行业中的风险的研究。为了促进对这一主题中大型语言模型的未来研究，我们还提供了一个阅读列表，跟踪该主题下的最新进展，链接如下：https://github.com/czyssrs/LLM_X_papers。

    May, 2024

  • 金融应用中大型语言模型的调查：进展、前景与挑战

    使用大型语言模型（LLMs）在金融领域中的机器学习应用的最新进展，探讨了LLMs在各种金融任务上的应用，重点在于它们改变传统做法和推动创新的潜力，提供了进展和优势的讨论，包括上下文理解、迁移学习的灵活性和复杂情感检测等高级技术，以及将现有文献分类为主要应用领域，包括语言任务、情感分析、金融时间序列、金融推理、基于代理的建模和其他应用，详细介绍了每个应用领域的具体方法论，如文本分析、基于知识的分析、预测、数据增强、规划、决策支持和模拟。此外，还提供了与主流应用相关的数据集、模型资源和有用代码等资源，作为研究人员和实践者的参考。最后，概述了未来研究中的挑战和机遇，特别强调了该领域的几个独特方面。希望我们的工作能促进LLMs在金融领域的采用和进一步发展。

    Jun, 2024

  • 大语言模型在系统评价中的有效性

    本研究解决了大语言模型（LLMs）在解读现有文献方面的有效性，特别是环境、社会和治理（ESG）因素与财务绩效之间关系的系统评价。研究发现，经过微调的GPT-4o Mini模型在准确性上平均超越基础LLMs达28.3%，显示了LLMs在帮助投资者和机构总结复杂ESG投资证据中的潜力，从而加快决策并提升市场效率。

    Aug, 2024

  • 破解代码：在印度尼西亚真实职业考试中的多领域大语言模型评估

    本研究解决了当前大语言模型评估未能有效反映真实职业需求的问题。我们提出了IndoCareer数据集，包含8,834道多项选择题，用于评估印度尼西亚各行业的职业和专业认证考试。同时，我们发现这些模型在具有强地方背景的领域（如保险和金融）表现不佳，该研究对模型评估方法的稳定性提出了新见解。

    Sep, 2024