IJCAIAug, 2023

用 ChatGPT 打破银行壁垒：金融领域的少样本文本分类

PDF
TL;DR我们提出使用对话式 GPT 模型，在金融领域利用 Banking77 数据集进行简单快速的少样本文本分类。我们的方法涉及 GPT-3.5 和 GPT-4 的上下文学习，最小化技术专业知识的要求，消除了昂贵的 GPU 计算需求，同时产生快速准确的结果。此外，我们使用 SetFit 这一最新的对比学习技术对其他预训练的屏蔽语言模型进行微调，以在完整数据和少样本设置下实现最先进的结果。我们的研究结果显示，即使样本较少，查询 GPT-3.5 和 GPT-4 的性能也能超过非生成模型的微调。然而，这些解决方案的订阅费用可能对小型机构来说过高。最后，我们发现生成模型在给定任务中表现更好，当显示人工专家选择的代表性样本，而不是随机选择的样本时。我们得出结论：a）我们提出的方法为具有有限标签可用性数据集中的少样本任务提供了实用的解决方案，并且 b）我们的最先进结果可以激发该领域的未来研究。
conversational gpt modelsfew-shot text classificationfinancial domainbanking77 datasetstate-of-the-art results
发现论文，激发创造
  • ChatGPT 和 GPT-4 是否能够作为金融文本分析的通用求解器？对几个典型任务的考察

    本研究旨在探讨 ChatGPT 和 GPT-4 在金融文本分析中的应用潜力，发现它们在数字推理任务上表现出色，但在需要领域特定知识的任务（如金融命名实体识别和情感分析）上表现糟糕。该研究比较了这两个模型与业界最佳现成模型和领域特定生成模型的优劣，希望为理解现有模型的能力和促进进一步改进提供基础研究。

    May, 2023

  • 语言模型是少样本学习器

    在大规模预训练语言模型上进行 fine-tuning 可以显著提高模型在 NLP 任务中的任务值线表现，同时还证明了 scaling up 语言模型可以大大改善任务独立的 few-shot learning 表现，并探讨了 GPT-3 模型优势和局限性。

    May, 2020

  • 使用 ChatGPT 改进金融领域的情感分析

    使用大型语言模型 ChatGPT 3.5 进行金融情感分析，特别关注外汇市场，通过零样本提示方法的探究，比起金融文本情感分析模型 FinBERT，ChatGPT 表现出了大约 35% 的情感分类性能提升以及 36% 更高的与市场回报的相关性，强调了提示工程在零样本上下文中的重要性，突显了 ChatGPT 在金融应用中显著提升情感分析的潜力，并分享所使用的数据集以促进该领域的进一步研究与发展。

    Aug, 2023

  • 如何使有限资源的文本分类在银行业变得物超所值

    标准的 NLP 全数据分类器需要成千上万个标记示例，在数据有限的领域中是不切实际的。少样本学习方法提供了一种替代方案，利用对比学习技术，在每个类别只需 20 个示例即可发挥有效作用。类似地，像 GPT-4 这样的大型语言模型也可在每个类别只有 1-5 个示例的情况下有效运行。然而，这些方法的性能与成本之间的权衡仍然未被充分研究，这对于预算有限的组织来说是一个关键问题。我们的工作通过在 Banking77 金融意图检测数据集上研究上述方法来填补这一空白，包括评估 OpenAI、Cohere 和 Anthropic 的最新大型语言模型在全面的少样本场景中的表现。我们通过两种额外的方法来完善整个研究：一是基于检索增强生成（RAG）的成本效益查询方法，与经典的少样本方法相比，能够多次降低运营成本；二是使用 GPT-4 的数据增强方法，能够改善数据有限情况下的性能。最后，为了激发未来的研究，我们提供了一个人工专家策划的 Banking77 子集，以及广泛的错误分析。

    Nov, 2023

  • 利用机器学习区分人类生成文本和 ChatGPT 生成的文本

    本研究提出了一种基于机器学习的解决方案，可以识别 ChatGPT 生成的文本，并在分类过程中比较分析了共 11 种机器学习和深度学习算法。在 Kaggle 数据集上测试，该算法在由 GPT-3.5 生成的语料库上表现出 77% 的准确率。

    May, 2023

  • 探索基于 ChatGPT 的查询或基于方面的文本摘要的极限

    本文介绍了关于文本摘要的各种方法，包括提取式和抽象式，并探讨了大型语言模型在此方面的应用潜力。作者以四个数据集为例，展示了 ChatGPT 生成的摘要与人类参考的差异，并发现 ChatGPT 在摘要性能上可以与传统的微调方法媲美。该研究为各种文本摘要任务开辟了新方向，提供了有价值的见解。

    Feb, 2023

  • 让预训练语言模型成为更好的少样本学习者

    LM-BFF 提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种 NLP 任务上的性能。通过与传统的 fine-tuning 方法相比，LM-BFF 组合的技术在低资源环境下具有显著改进，最高可达 30％，平均提高 11％。

    Dec, 2020

  • ChatGPT 自动评分的微调

    本研究通过在科学教育中使用示例评估任务，突显了精调 ChatGPT（GPT-3.5）自动评分学生书面构建性答案的潜力。与经过领域特定训练数据细调的 Google 生成语言模型 BERT 相比，GPT-3.5 在自动评分准确性上表现出显著提高，并发布了细调模型以供公众使用和社区参与。

    Oct, 2023

  • GPT-3 模型是小样本金融推理器

    金融分析是评估公司绩效的重要工具，而金融问题回答是需要对数字进行深入推理的问答任务。最近的研究发现，使用大型语言模型如 GPT-3 进行财务领域的推理仍需要相关事实的检索模型和逻辑引擎，特别是由于金融问题的精确性和金融文档中存储的复杂信息。在此基础上，我们在 GPT-3 上采用改进的提示工程方法，实现了接近最先进的准确性，而无需进行任何精调。

    Jul, 2023

  • 面向零样本文本分类的生成驱动对比自训练及指导调优 GPT

    提出了一种名为 GenCo 的零样本文本分类方法，利用 GPT 的强大生成能力辅助训练更小、更适应和高效的句子编码器分类器，包括两种方式：一是为每个输入实例生成多个增广文本，提高语义嵌入和标签的映射；二是在自训练期间有条件地生成增广文本，使得生成过程适应目标空间中的决策边界。实验证明，即使只有有限的领域内文本数据，GenCo 也优于以前的最先进方法。

    Apr, 2023