Oct, 2023

DISC-FinLLM：基于多专家微调的中文金融大型语言模型

PDF
TL;DR我们提出了一种多专家微调框架来构建金融领域的大型语言模型（LLM），DISC-FinLLM。我们的方法通过赋予通用 LLMs 多轮问答能力、领域文本处理能力、数学计算技巧和检索增强生成能力来改进通用 LLMs。我们构建了一个金融指令微调数据集，名为 DISC-FIN-SFT，其中包括四个类别（咨询、自然语言处理任务、计算和检索增强生成）的指令样本。在多个基准测试中进行的评估表明，我们的模型在各种金融场景中比基准模型表现更好。更多资源可以在此 https 链接中找到。
发现论文，激发创造
  • DISC-LawLLM：面向智能法律服务的大型语言模型微调

    我们提出了 DISC-LawLLM，一个利用大型语言模型（LLMs）提供各种法律服务的智能法律系统。我们采用法律推理提示策略在中国司法领域构建了监督微调数据集，并使用具备法律推理能力的 LLMs 进行微调。我们通过检索模块增强了 LLMs 的能力，以访问和利用外部法律知识。我们提出了全面的法律评估基准 DISC-Law-Eval，从客观和主观的角度评估智能法律系统。在 DISC-Law-Eval 上的定量和定性结果表明我们的系统在为各种不同法律场景下的用户提供服务方面的有效性。详细的资源可以在此 https URL 找到。

    Sep, 2023

  • DISC-MedLLM: 连接通用大型语言模型与真实世界医学咨询

    提出了 DISC-MedLLM，一种综合的解决方案，利用 Large Language Models（LLMs）在端到端的对话式医疗服务中提供准确和真实的医疗回应。

    Aug, 2023

  • InvestLM：一种用于投资的大规模语言模型，利用金融领域指令调整

    我们提出了一个新的金融领域大型语言模型 InvestLM，在 LLaMA-65B 上进行了调优，使用了一个与金融投资相关的精心策划的指令数据集。InvestLM 在理解金融文本方面表现出强大的能力，并对投资相关问题提供有价值的回答。这项工作开发了一个最先进的金融领域语言模型，具有优越的理解金融文本和提供有益投资建议的能力，可能提高金融专业人员的工作效率。

    Sep, 2023

  • FinEval：适用于大型语言模型的中文金融领域知识评估基准

    使用 FinEval 基准测试，评估了当前中文和英文大型语言模型在金融领域知识方面的表现，结果显示只有 GPT-4 在不同提示设置下实现了接近 70% 的准确度，表明大型语言模型在金融领域知识方面具有显著的增长潜力。

    Aug, 2023

  • PIXIU：面向金融领域的大型语言模型、指令数据和评估基准

    介绍了一个名为 PIXIU 的综合框架，包括首个用于金融领域的基于 fine-tuning 的 LLM（FinMA）、用于 fine-tuning 的指导数据和包含 5 个 NLP 任务和 1 个预测任务的评估基准。

    Jun, 2023

  • 面向数据的金融大型语言模型

    通过数据中心的方法，我们提出了一种能够更好地处理金融任务的金融 LLM（FLLM）模型，通过多任务提示优化来对数据进行预处理和预理解，并通过推断增强推理（AAR）自动生成训练数据，实验结果表明，我们的数据中心 FLLM 模型显著优于基于原始文本的金融 LLMs，在金融分析和解释任务上达到了最新水平，我们还开源了一个新的金融分析和解释基准，这种方法为解锁 LLMs 在复杂现实领域的潜力提供了希望。

    Oct, 2023

  • NumLLM：针对中国金融领域的数值敏感大型语言模型

    我们提出了一种新颖的大型语言模型（NumLLM），用于改进金融领域的理解能力，该模型通过在构建的金融语料库上进行微调以适应数字变量，并在金融问答基准上取得了最佳性能表现。

    May, 2024

  • 超级 CLUE-Fin：对中文金融 LLM 进行多样化金融任务和应用的分级细粒度分析

    SuperCLUE-Fin 是专为中文金融大型语言模型（FLMs）设计的评估框架，通过六个金融应用领域和 25 个专业任务对 FLMs 进行评估，包括合规性，风险管理和投资分析等理论知识和实际应用。SC-Fin 可帮助改善 FLMs 在中国金融领域的性能和可用性，推动人工智能在这一领域的发展和负责任的应用。

    Apr, 2024

  • FFN：一个细粒度的中英金融领域平行语料库

    大型语言模型在机器翻译领域取得了惊人的进展，然而在金融领域的有效性仍然很少被探讨。我们构建了一个细粒度的中英平行金融新闻语料库，名为 FFN，以研究此问题。通过使用 BLEU、TER 和 chrF 评估指标，我们测量了两个 LLMs（ChatGPT 和 ERNIE-bot）的翻译质量。与此同时，我们还基于我们的数据集训练了一个基于 OpenNMT 的模型。我们详细解释了 LLMs 的问题，并进行了深入分析，旨在激发对这个几乎未知领域的进一步研究和解决方案。我们的研究强调了在金融翻译领域中优化 LLMs 以确保准确性和质量的必要性。

    Jun, 2024

  • CFGPT：具有大型语言模型的中文金融助手

    本文介绍了一种名为 CFGPT 的中文金融预训练变换器框架，包括一个用于预训练和监督微调的数据集（CFData），一个用于管理金融文本的金融 LLM（CFLLM）和一个用于导航实际金融应用的部署框架（CFAPP）。

    Sep, 2023