EMNLPOct, 2023

VECHR：欧洲人权法院漏洞类型可解释及稳定分类数据集

PDF
TL;DR通过 VECHR 数据集，对 ECtHR 的脆弱性判断进行研究和实证分析，结果表明了此任务的挑战性及各种模型在预测性能、可解释性和鲁棒性方面的局限性。
vulnerabilityecthrnlp researchvechr datasetperformance
发现论文，激发创造
  • 利用任务依存性和对比学习进行欧洲人权法院案例结局分类

    该研究报道了一项关于欧洲人权法院案例结果分类的实验，使用层级对比损失用于提升分类性能。

    Feb, 2023

  • 欧洲人权法庭先例理解与先前案例检索数据集

    基于欧洲人权法院的判决，推出了一种先例检索（PCR）数据集，以帮助系统全面理解法律事实和原则。通过采用不同的文本检索方法和负采样策略，进一步研究了 PCR 任务的困难度，以及与时间相关的检索模型的性能衰减。此外，还评估了 Halsbury's 和 Goodhart's 在 ECtHR 司法界的不同观点对 PCR 任务的影响。

    Mar, 2024

  • 检测人权捍卫者遭受攻击的新任务和数据集

    本文提出了一个新的数据集（HRDsAttack），其中包括约 500 篇在线新闻文章的众包注释，以检测和总结对人权捍卫者的攻击特征，并使用它来训练和评估基线模型以预测注释特征。

    Jun, 2023

  • 从不一致到洞察：对案件结果分类中的理据数据集构建进行剖析

    法律 NLP 中的案件结果分类不仅需要准确性，还需要可信度和可解释性。我们提出了一个新的数据集 RAVE：欧洲人权法上的理由变异，收集了两位专家在国际人权法领域的评估，发现他们在评估案例事实上存在差异。我们建立了一个两层次的与任务无关的分类系统，并补充了与案例结果分类相关的子类别。我们定量评估了不同分类系统的性能，并发现观点分歧主要源于法律背景的不明确，这在案件结果分类的元数据中是有限的。我们进一步评估了最先进的案件结果分类模型在 RAVE 上的可解释性，并观察到模型与专家之间的一致性有限。总的来说，我们的案例研究揭示了在法律 NLP 中创建基准数据集所涉及的复杂性，重点是确定与案件结果相关的方面。

    Oct, 2023

  • V2W-BERT: 一种有效的软件漏洞层次多类分类框架

    本文介绍了一种基于 Transformer 学习框架的新方法 (V2W-BERT)，通过自然语言处理、链接预测和迁移学习等思想，自动将 Common Vulnerabilities and Exposures (CVE) 映射到 Common Weakness Enumerations (CWE)，准确地解决了在网络安全方面的问题，可应用于寻找软件漏洞和缓解网络攻击。

    Feb, 2021

  • 针对欧洲人权法院案件进行法律判决预测的因素消除，以更好地与专家达成一致

    本文中，作者通过领域专家调整、采用对抗式训练以及解释性分析等手段，对司法判决预测系统的表层信号干扰问题进行了研究，在使用现有的基准数据集进行实验时，取得了比仅用于预测的基准模型更好的预测准确率。同时，作者贡献了一组专家注释结果。

    Oct, 2022

  • XIMAGENET-12：一个可解释的 AI 基准数据集用于模型鲁棒性评估

    为了解决标准化鲁棒性评估指标缺乏和过多无关基准数据集的问题，我们引入了 XIMAGENET-12，一个可解释的基准数据集，包含 20 万多张图像和 15,600 个手动语义注释。同时，我们提出了一个新的鲁棒性评估标准，超越了模型生成能力的评估。研究人员和从业者可以利用这个资源，在具有挑战性的条件下评估他们的视觉模型的鲁棒性，并从实际的计算机视觉系统需求中受益。

    Oct, 2023

  • 通过正则化进行段落级别的理由提取：以欧洲人权法院案例为例

    该篇研究探讨了关于 NLP 中的可解释性或解释性是如何应用在法律文本中的，为了更好的满足用户的需求，我们提出了一种基于段落的理由提取的方法，并引入了一个新的数据集，对已有的规则进行了研究和探究。结果表明，该任务非常具有挑战性并需要深入研究。

    Mar, 2021

  • CVSS-BERT：使用自然语言理解技术从计算机安全漏洞描述中确定其严重程度

    利用自然语言处理中的 BERT 分类器，从可公开的计算机安全漏洞的文本描述中解析漏洞的特征并计算其严重性得分，以减少分析所需的时间和人力。

    Nov, 2021

  • CLEVR-X：自然语言解释的视觉推理数据集

    本文介绍了一个基于机器学习的可视化问答生成自然语言解释过程的方法，使用 CLEVR-X 数据集进行自然语言解释的基线结果分析，以及研究了不同问题和不同数量的真实解释对自然语言生成质量的影响。

    Apr, 2022