本文介绍一种基于 Transformer 模型的方法，以解决 COLIEE 2021 自动法律文本处理竞赛中的不同问题，并详细描述了每个任务的处理步骤，包括问题公式化、数据处理和增强、预训练和微调。此外，本文还介绍了两个在法律领域利用平行翻译的预训练模型 NFSP 和 NMSP，其中 NFSP 在该竞赛的任务 5 中取得了最优结果。

Feb, 2022

通过在大量无标注的法律文件上进行微调，利用本地计算机上的预训练的大规模语言模型可以实现生成法律文件草案的任务，并同时保护信息隐私和提高信息安全性。

Jun, 2024

本研究探讨了两个方向来处理长篇的法律文本：一是修改从 LegalBERT 启动的 Longformer 以处理更长的文本，二是修改 LegalBERT 以使用 TF-IDF 表示。结果发现，第一个方法表现最佳，在 LexGLUE 中胜过 LegalBERT 的分层版本；第二个方法计算效率更高，而且仍然优于 TF-IDF 特征的线性 SVM。

Nov, 2022

这篇文章给出了 TLM 在法律领域中基于 AI 的问题和任务的系统概述，旨在突出此领域的研究进展，从而理解 Transformer 模型在支持法律流程中的作用、当前的限制和进一步的研究发展机会。

Aug, 2023

该研究通过分析基于法律的预训练语言模型的性能，可以得出结论，领域特定的预训练语言模型的开发包括模型的大小和先前的法律知识两个方面。

May, 2023

本研究运用 BERT、GPT-2 和 RoBERTa 等 6 种转换器以及 21 万份法律诉讼专业化训练模型，通过将文件预处理十分相似的信息转化为向量、使用无监督学习方法聚类控制进行法律领域的词语判定，体现出转换器模型的优点。在这其中，RoBERTa 模型得到了进一步发展，成为了本研究的重要部分。

Apr, 2022

本文介绍了一种基于 Longformer 的预训练语言模型，名为 Lawformer，用于理解中国法律长文档。作者在判决预测、相似案例检索、法律阅读理解和法律问答等多个 LegalAI 任务上评估了模型性能，并表明该模型可以有效应用于处理长文档型法律任务。

May, 2021

本文介绍了使用预训练和微调、提示或文本生成方法解决 NLP 任务的大型预训练基于 transformer 的语言模型，以及使用预训练语言模型生成数据进行训练或其他目的的方法，并讨论未来研究的限制和建议方向。

Nov, 2021

通过研究多语言神经网络模型，使用深度学习，如基于 Transformer 的结构，我们在临床文本机器翻译方面进行了调查。此外，为了解决语言资源不平衡问题，我们还使用基于大规模多语言预训练语言模型（MMPLMs）的迁移学习方法进行了实验。在临床案例（CC）、临床术语（CT）和本体概念（OC）等三个子任务上的实验结果表明，我们的模型在 ClinSpEn-2022 共享任务中的英语 - 西班牙语临床领域数据中表现出了最佳水平。此外，基于专家评估的人工评估结果显示，小型预训练语言模型（PLM）在临床领域微调中以大幅度优于其他两个超大型语言模型，这是该领域前所未有的发现。最后，迁移学习方法在我们的实验设置中运行良好，使用 WMT21fb 模型适应了预训练阶段在 WMT21fb 中未见的西班牙语语言空间，这值得进一步探索临床知识转化方面，例如研究更多语言。这些研究结果可以为特定领域的机器翻译开发提供一些启示，尤其是在临床和医疗领域。在我们的工作基础上可以开展进一步的研究项目，以改进医疗文本分析和知识转化。

Dec, 2023

本文阐述了利用不同隐私保护训练配置扩大自监督学习 Transformer 模型的规模，提供 Domain Adaptation 和 Privacy Protection，实现在法律领域 NLP 下的无监督超大规模训练的技术，这在之前尚未得到解决。

Nov, 2022