Feb, 2022

基于 Transformer 的法律文本处理方法

PDF
TL;DR本文介绍一种基于 Transformer 模型的方法，以解决 COLIEE 2021 自动法律文本处理竞赛中的不同问题，并详细描述了每个任务的处理步骤，包括问题公式化、数据处理和增强、预训练和微调。此外，本文还介绍了两个在法律领域利用平行翻译的预训练模型 NFSP 和 NMSP，其中 NFSP 在该竞赛的任务 5 中取得了最优结果。
transformer-based modelscoliee 2021legal text processingpretrained language modelsnfsp
发现论文，激发创造
  • 在印度法律文本上进行的预训练转换器

    本文介绍了在印度法律文本上进行预训练的基于 Transformer 的 PLMs，并在多个基准法律 NLP 任务上运用了这些 PLMs，结果表明这些印度特定的 PLMs 非常有用。

    Sep, 2022

  • 利用 Transformers 自然语言处理方法对巴西法院文件进行相似性聚类

    本研究运用 BERT、GPT-2 和 RoBERTa 等 6 种转换器以及 21 万份法律诉讼专业化训练模型，通过将文件预处理十分相似的信息转化为向量、使用无监督学习方法聚类控制进行法律领域的词语判定，体现出转换器模型的优点。在这其中，RoBERTa 模型得到了进一步发展，成为了本研究的重要部分。

    Apr, 2022

  • 基于 Transformer 的实体法律形式分类

    使用 Transformer-based 的语言模型对原始的法人实体名称进行实体法律形式分类，通过与多个传统基准进行比较，我们发现预训练的 BERT 变种在 F1 得分方面优于传统文本分类方法，并在宏 F1 得分方面表现良好。此外，通过在十个选定的法域中进行的第三方专家评审的结果支持我们的提议。该研究突出了 Transformer-based 模型在推进数据标准化和数据集成方面的巨大潜力，这些方法可以极大地有助于金融机构、公司、政府和其他组织评估业务关系、理解风险暴露和促进有效治理。

    Oct, 2023

  • 为人工智能和法律领域引入基于 Transformer 的语言模型的秩序

    这篇文章给出了 TLM 在法律领域中基于 AI 的问题和任务的系统概述，旨在突出此领域的研究进展，从而理解 Transformer 模型在支持法律流程中的作用、当前的限制和进一步的研究发展机会。

    Aug, 2023

  • 使用预训练变形器处理长法律文件：修改 LegalBERT 和 Longformer

    本研究探讨了两个方向来处理长篇的法律文本：一是修改从 LegalBERT 启动的 Longformer 以处理更长的文本，二是修改 LegalBERT 以使用 TF-IDF 表示。结果发现，第一个方法表现最佳，在 LexGLUE 中胜过 LegalBERT 的分层版本；第二个方法计算效率更高，而且仍然优于 TF-IDF 特征的线性 SVM。

    Nov, 2022

  • 基于 Transformer 的模型的判决文本分类比较研究

    本研究使用多种自然语言处理模型进行司法文书的预测和摘要，最终得出六种基于自我注意力的转换器模型在四种激活函数下的对比分析结果，准确率高达 99%。

    Apr, 2023

  • 使用 Transformers 的自然语言处理在保险精算中的应用：在文本特征中的案例研究

    本教程介绍了将文本数据纳入精算分类和回归任务的工作流程，重点介绍了使用基于 transformer 模型的方法。通过对一组包含 400 个单词的汽车事故的描述和一组短期财产保险索赔描述的数据集进行演示，探讨了多语言环境和长输入序列等挑战性问题，同时展示了解释模型输出、评估和改进模型性能的方法，通过在应用领域或特定预测任务上对模型进行微调，提供了实现分类任务处理的实用方法。使用仅经过最少预处理和微调的现成自然语言处理 (NLP) 模型的语言理解技巧所实现的结果，充分展示了迁移学习在实际应用中的威力。

    Jun, 2022

  • 提高法律文本处理中的注意力神经网络

    通过实验验证，着重介绍了改进注意力神经网络在自动法律文件处理方面的主要成果，但普遍的自然语言处理模型对于特殊领域如法律文件的适应性仍有挑战。

    Mar, 2022

  • 利用长文本编码器改进罗马尼亚语法律判断预测

    通过研究专用模型和处理长文本，探索法律评判预测任务中的特殊模型和通用模型的表现，以提高性能。

    Feb, 2024

  • 电子病历中基于 Transformers 的方法应用：一项系统文献综述

    该文是关于基于 Transformer 的自然语言处理（NLP）应用到电子病历（EMR）领域的最新研究进展的系统文献综述，涵盖了业务问题、NLP 任务、模型和技术、数据集可用性、建模再现性、语言和交换格式等方面。通过分析当前研究的局限性和未来研究建议，该文提供了有关该领域 Transformer-based 方法的综合评估。

    Apr, 2023