Sep, 2023

黑盒分析：法律文本蕴含任务中的 GPTs 跨时限研究

PDF
TL;DR对 COLIEE 任务 4 数据集中 Heisei 18（2006 年）到 Reiwa 3（2021 年）的日本法律文本具体判断能力的 GPT-3.5（ChatGPT）和 GPT-4 模型的分析揭示了模型在处理法律文本具体性任务方面的优点、缺点和性能模式，为未来优化 GPT-based 模型并在法律信息提取和具体性应用中成功采用奠定了基础。
generative pre-trained transformergpt-3.5gpt-4coliee task 4 datasetlegal textual entailment
发现论文，激发创造
  • GPT 和语言障碍：跨语言法律问答考察

    利用 COLIEE 任务 4 数据集，探索生成式预训练转换器（GPTs）在跨语言法律问答系统中的应用，通过对四种不同的英语和日语提示和数据进行基准测试，为多语言法律问答方案的开发提供有价值的洞察，以提高效率和准确性。

    Mar, 2024

  • GPT-4 在需要高度专业领域知识的文本数据分析任务中的支持能力？

    本文评估了生成式预训练转换 (GPT-4) 对高度专业领域的文本数据分析任务的能力，特别关注分析法院裁决以解释法律概念的任务。我们发现，在注释指南的提示下，GPT-4 的表现与经过良好培训的法律学生注释器相当。我们发现，虽然性能略有下降，但 GPT-4 可以进行批量预测，从而降低成本。然而，采用连贯思维提示并没有在此任务上明显提高性能。此外，我们演示了如何分析 GPT-4 的预测，以识别和减轻注释指南的缺陷，进而提高模型的性能。最后，我们观察到该模型非常脆弱，因为提示中的小型格式相关更改对预测结果影响很大。这些发现可被从事高度专业领域任务的文本语义 / 语用注释的研究人员和实践者利用。

    Jun, 2023

  • 法律领域实际应用拓展：评估 GPT 在零样本法律文本语义标注中的作用

    本文研究使用最新的生成式预训练转换器（GPT）模型分析各种类型法律文件中一到几句话长度的文本片段的语义注释能力，结果表明该模型能够在零样本学习中表现出色，可广泛应用于语义注释的法律文本处理流程中。

    May, 2023

  • 应用 GPT-3.5-turbo 进行法律案件中的修辞角色预测

    综合研究了一阶段询问大型预训练生成变压器（GPT-3.5-turbo）在法律案件的修辞角色预测任务中的引诱技术，通过零 - 少例、任务说明、文本上下文和问题推理等策略，提出模型性能的改进方案。

    Oct, 2023

  • 增强的大型语言模型（GPT-4）用于解释法律概念

    对 GPT-4 在生成有关立法术语方面的准确性、清晰性和相关性上的表现进行评估。与基准设置相比，采用法律信息检索模块提供以前案例中的语句作为模型的上下文可以获得更好的结果，从而可以自主检索相关案例，并将这些案例中有用的语句压缩成有用的法律解释。

    Jun, 2023

  • LexGPT 0.1：基于 Pile of Law 的预训练 GPT-J 模型

    该篇论文旨在构建专为法律领域定制的生成语言模型，其中 LexGPT 模型可通过 “无代码” 方法对专业数据进行微调，以用于下游任务，但分类器性能比最先进的结果明显较低。

    Jun, 2023

  • ChatGPT 应用于数字取证调查：益处、弊端与未知

    这篇论文评估了 ChatGPT（GPT-3.5、GPT-4）对数字取证领域的影响和潜在影响，重点关注最新的预训练 LLM GPT-4，通过一系列实验评估了它在包括文物理解、证据搜索、代码生成、异常检测、事件响应和教育等多个数字取证应用场景中的能力，并总结了它的优势和风险。综合而言，尽管 ChatGPT 在数字取证领域存在一些潜在的低风险应用，但很多应用目前不适用，因为需要将证据上传至服务端，或者需要对所询问的话题具有足够的知识以识别错误的假设、不准确性和错误。然而，对于合适的知识用户而言，在某些情况下，它可以作为一个有用的辅助工具。

    Jul, 2023

  • 在 ChatGPT 答案上使用标签模型提高法律文本推理性能

    利用标签模型将 ChatGPT 的临时回答集成到统一的标签中，以处理不确定性问题，实验结果显示，这种方法能够达到 76.15% 的准确率，相比之前的最先进水平提高了 8.26%，此外，作者还分析了 ChatGPT 出现错误回答的实例，并对这些错误进行了分类，提供了对未来研究改进的指导。

    Jan, 2024

  • GPT-4 技术报告

    本文介绍了 GPT-4，一种大规模、多模态模型，可接受图像输入和文本输入，并产生文本输出。通过预先训练，优化方法和改进后的对齐过程，GPT-4 表现出人类水平的性能。

    Mar, 2023

  • (聊) GPT 对 BERT 的语义变化检测之战的黎明

    这篇研究论文探讨了自然语言处理领域中基于 Transformer 的语言模型，如 BERT 和 ChatGPT，在解决词义变化的时间问题方面的能力，对比了它们在两种 Word-in-Context 任务的历时扩展中（TempoWiC 和 HistoWiC）的表现，分析了 ChatGPT 相对于 BERT 的潜力，结果显示 ChatGPT 在研究词义变化方面表现较差。

    Jan, 2024