本研究运用 BERT、GPT-2 和 RoBERTa 等 6 种转换器以及 21 万份法律诉讼专业化训练模型，通过将文件预处理十分相似的信息转化为向量、使用无监督学习方法聚类控制进行法律领域的词语判定，体现出转换器模型的优点。在这其中，RoBERTa 模型得到了进一步发展，成为了本研究的重要部分。

Apr, 2022

我们提出了一种结合自然语言处理和机器学习技术的方法，通过创建文本嵌入来增强法律案例描述的组织和利用，实现无监督聚类和有监督引文检索，以自动化提取引文的过程，从而实现更高效、节省时间、便捷的法律研究和论证。

May, 2024

利用数据增强技术生成合成数据以解决葡萄牙金融领域中领域特定数据稀缺的问题，并使用不同语义相似性的技术对从巴西中央银行 FAQ 获取的数据集进行增强，通过有监督和无监督任务评估增强数据对低语义相似性和高语义相似性情况的影响。此外，生成的数据集将在 Hugging Face 数据集平台上公开传播，从而提高可访问性并促进自然语言处理研究社区的更广泛参与。

Nov, 2023

探究数据集大小、训练数据集和测试数据集的划分、人工标注标签准确性等对深度学习分类器性能的影响，指出类的语义同质性会影响分类的难度，并讨论数据集属性评估的建立方法以及数据集增强可以作为提高 AI&Law 各种任务分类性能的另一条途径。

Jan, 2022

本研究使用三种模型，分别基于向量空间表示法，将法律案例文档表示为不同的向量空间，并结合语义词度量和自然语言处理技术，展示了在信息检索过程中引入领域特定语义相似性测量的必要性，表明整合多种技术可显著提高信息检索的准确性，同时还展示了词相似度测量分布变化及文档向量维度变化对法律信息检索过程的影响，从而为信息检索提供了更好的方案。

May, 2018

本文介绍了一个基于 NLP 资源的语义相似性数据集，用于填补心理语言学研究中的空白，并通过提供大量受词汇处理中起重要作用的变量控制的名词对的语义相似性的各种量化方式。

Apr, 2023

该论文探讨了 Legal NLP 领域的研究，分析了 SemEval 举办的 LegalEval 任务的三个子任务：语言角色标注，法律实体识别和法院判例预测，并总结了 26 个团队的研究成果。

Apr, 2023

本文研究比较了各种机器学习方法，用于将判决分为不同的法律领域，结果表明包括主题模型、词向量和语言模型分类器在内的所有方法都表现良好，但还需要进一步优化这些先进的方法以适应法律领域。

Apr, 2019

本文总结了团队 SCaLAR 在《SemEval-2024 任务 5：民事诉讼中的法律论证》方面的工作。我们提出了一种简单而又新颖的基于相似度和距离的无监督方法来生成标签，以解决该二元分类任务。此外，我们通过使用 CNN、GRU 和 LSTM 等集成特征和多级融合的 Legal-Bert 嵌入来探索解决法律文本复杂性的问题。为了解决数据集中冗长的法律解释，我们引入了基于 T5 的分段摘要，成功保留了关键信息，提高了模型的性能。我们的无监督系统在开发集上的宏 F1 得分增加了 20 个百分点，在测试集上增加了 10 个百分点，这是一个令人鼓舞的结果，考虑到其简单的架构。

Mar, 2024

本文旨在解决 AILA2021（法律协助人工智能）中的任务之一，在使用 BERT 获取的句子嵌入和线性分类器的结合下，将文档在语义上分割为 7 个预定义标签或 “修辞角色”，通过对实验加权分析，表明赋予最高频率类别更大的权重可获得更好的结果。在任务 1 中，团队 legalNLP 获得了 0.22 的 F1 分数。

Feb, 2022