我们的研究主要致力于通过预训练阶段的修改来提升法律土耳其领域内的 BERT 模型，在法律领域的两个基本下游任务中，即命名实体识别和多标签文本分类，我们的修改的预训练方法在 NER 和多标签文本分类任务中相较于原 BERT 模型展现出了显著改进。

Jun, 2024

本文对传统词嵌入模型与 BERT 模型在人权法庭裁决文本的法条分析任务中的表现进行了比较，实验证明领域特定的 BERT 模型有很大的潜力，而传统的词嵌入模型在与神经网络层结合后也能表现出很强的性能。

Feb, 2022

本文介紹了 AraLegal-BERT 模型，評估其對於阿拉伯法律文件的表現。結果證明該模型在自然語言理解 (NLU) 任務上比一般的 BERT 及原始版本表現更為準確。

Oct, 2022

本研究在法律文件上 fine-tuning BERT 模型具有优势，由于获取庞大的法律语料库的机密性质具有挑战性，因此这项成果对于商业协议的分析具有重要意义，并为合同分析的商业应用和学术研究提供了竞争优势。

Nov, 2019

本文提出了一种参数高效的法律领域适应方法，该方法使用公共法律论坛的海量无监督法律数据进行法律预训练，成功地在各种法律任务上超过或匹配现有模型的低样本学习性能，同时只调整了约 0.1％的模型参数，达到与现有方法相当的校准效果。

Oct, 2022

LegalRelectra 是一种基于 Electra 框架，使用 Reformer 生成器和鉴别器的法律领域语言模型，旨在处理包含多个领域词汇的文档，通过在混合法律和医学语料库上训练，其能够比通用领域和单领域医学和法律语言模型更好地处理混合领域（个人受伤）文本。

Dec, 2022

本文介绍了一个新的 NLP 数据集 CaseHOLD，用于测试法律方面的 NLP 任务，同时指出在某些特定的领域语料的预训练条件下，Transformer-based architectures 的性能可能比一般的预训练模型更优秀，我们的发现有助于指导研究人员何时需要进行域预训练。

Apr, 2021

本研究探讨了两个方向来处理长篇的法律文本：一是修改从 LegalBERT 启动的 Longformer 以处理更长的文本，二是修改 LegalBERT 以使用 TF-IDF 表示。结果发现，第一个方法表现最佳，在 LexGLUE 中胜过 LegalBERT 的分层版本；第二个方法计算效率更高，而且仍然优于 TF-IDF 特征的线性 SVM。

Nov, 2022

本研究旨在探讨语言资源有限情况下，各种预先培训方法对土耳其临床语言模型在涉及放射学报告的多标签分类任务中表现的影响，并通过利用有限的临床任务数据首次评估了同时进行预训练的方法。我们发现，在使用大量通用域语料库的情况下，通用土耳其 BERT 模型和 TurkRadBERT-task v1 表现最佳。此外，本研究还强调了预先训练期间领域特定词汇对于增强模型性能的重要性。

May, 2023

本论文中，我们提出了一种名为 DILBERT 的新的 fine-tuning scheme，用于处理在不同 domain 之间做 aspect extraction 的问题，该方法利用源 domain 和目标 domain 的分类信息，以指导 pre-training process 更好地适应不同的 domain 和 category，并在更具挑战性的 domain adaptation 问题上使用极少的无标签数据，从而在 state-of-the-art 的 baseline 上获得了显著的改进。

Sep, 2021