Jun, 2023

GPT-4 在需要高度专业领域知识的文本数据分析任务中的支持能力？

PDF
TL;DR本文评估了生成式预训练转换 (GPT-4) 对高度专业领域的文本数据分析任务的能力，特别关注分析法院裁决以解释法律概念的任务。我们发现，在注释指南的提示下，GPT-4 的表现与经过良好培训的法律学生注释器相当。我们发现，虽然性能略有下降，但 GPT-4 可以进行批量预测，从而降低成本。然而，采用连贯思维提示并没有在此任务上明显提高性能。此外，我们演示了如何分析 GPT-4 的预测，以识别和减轻注释指南的缺陷，进而提高模型的性能。最后，我们观察到该模型非常脆弱，因为提示中的小型格式相关更改对预测结果影响很大。这些发现可被从事高度专业领域任务的文本语义 / 语用注释的研究人员和实践者利用。
generative pre-trained transformersgpt-4textual data analysislegal concept interpretationannotation guidelines
发现论文，激发创造
  • GPT-4 技术报告

    本文介绍了 GPT-4，一种大规模、多模态模型，可接受图像输入和文本输入，并产生文本输出。通过预先训练，优化方法和改进后的对齐过程，GPT-4 表现出人类水平的性能。

    Mar, 2023

  • 黑盒分析：法律文本蕴含任务中的 GPTs 跨时限研究

    对 COLIEE 任务 4 数据集中 Heisei 18（2006 年）到 Reiwa 3（2021 年）的日本法律文本具体判断能力的 GPT-3.5（ChatGPT）和 GPT-4 模型的分析揭示了模型在处理法律文本具体性任务方面的优点、缺点和性能模式，为未来优化 GPT-based 模型并在法律信息提取和具体性应用中成功采用奠定了基础。

    Sep, 2023

  • GPT-4 是一位优秀的数据分析师吗？

    本文通过一系列的比较研究，设计实验性方案并提出数据分析问题，探究 GPT-4 作为数据分析师的能力，从而证明其在该领域有着与专业人类数据分析师相媲美的表现。

    May, 2023

  • 增强的大型语言模型（GPT-4）用于解释法律概念

    对 GPT-4 在生成有关立法术语方面的准确性、清晰性和相关性上的表现进行评估。与基准设置相比，采用法律信息检索模块提供以前案例中的语句作为模型的上下文可以获得更好的结果，从而可以自主检索相关案例，并将这些案例中有用的语句压缩成有用的法律解释。

    Jun, 2023

  • 法律领域实际应用拓展：评估 GPT 在零样本法律文本语义标注中的作用

    本文研究使用最新的生成式预训练转换器（GPT）模型分析各种类型法律文件中一到几句话长度的文本片段的语义注释能力，结果表明该模型能够在零样本学习中表现出色，可广泛应用于语义注释的法律文本处理流程中。

    May, 2023

  • 应用 GPT-3.5-turbo 进行法律案件中的修辞角色预测

    综合研究了一阶段询问大型预训练生成变压器（GPT-3.5-turbo）在法律案件的修辞角色预测任务中的引诱技术，通过零 - 少例、任务说明、文本上下文和问题推理等策略，提出模型性能的改进方案。

    Oct, 2023

  • ChatGPT 和 GPT-4 是否能够作为金融文本分析的通用求解器？对几个典型任务的考察

    本研究旨在探讨 ChatGPT 和 GPT-4 在金融文本分析中的应用潜力，发现它们在数字推理任务上表现出色，但在需要领域特定知识的任务（如金融命名实体识别和情感分析）上表现糟糕。该研究比较了这两个模型与业界最佳现成模型和领域特定生成模型的优劣，希望为理解现有模型的能力和促进进一步改进提供基础研究。

    May, 2023

  • Gpt-4: 自然语言处理中的进展与机遇综述

    OpenAI 开发的第四代 GPT 系列语言模型 GPT-4，具有更强的多语种能力、上下文理解能力和推理能力，可以应用于聊天机器人、个人助理、语言翻译、文本摘要和问答等领域，但也存在计算需求、数据需求和伦理问题等挑战。

    May, 2023

  • 基于算法问题的 GPT-4 评测：对提示策略的系统评估

    GPT-4 在具有可控问题难度的三个算法任务中通过先进的提示技术展现了优越的准确性，证明了先进的大型语言模型在需要系统化泛化的挑战性任务中具备很强的基准性能。

    Feb, 2024

  • 仅需提示和样本，使用 GPT-4 在低资源分类任务中进行数据增强

    本文通过简单的提示使用 GPT-4 和 ChatGPT 增强有限的标注语料库，用于三种不同的分类任务，在低资源环境中通过生成的合成样本，测试了两种扩充策略：一种是维护原始标签分布，另一种则是平衡分布，实验发现，合成数据有助于实现很好的下游任务效果和极少见类别的识别。

    Apr, 2023