ACLMay, 2019

极端多标签法律文本分类：欧盟立法案例研究

PDF
TL;DR本文讨论在法律领域中进行的极端多标签文本分类（XMTC）任务，并发布了一个新的数据集，其中包含 57k 份来自欧洲公共文档数据库 EURLEX 的立法文件，注释了来自多学科词库 EUROVOC 的概念。本文实验了几种神经分类器，表明采用 self-attention 的 BIGRUs 优于目前使用基于标签的注意力的多标签最先进方法。用 BIGRUs 替换 CNN 在基于标签的注意力网络中，从而获得了最佳的整体性能。
发现论文，激发创造
  • 欧盟立法上的大规模多标签文本分类

    该研究在法律领域考虑了大规模多标签文本分类，提出了一个适用于 LMTC、few - 和 zero-shot 学习的新数据集 EURLEX，共包含 57k 个法律文档，注释有～4.3k 个 EUROVOC 标签；实验表明，具有标签注意力的 BIGRU 模型优于当前其他最先进的模型；领域特定的 WORD2VEC 和上下文敏感的 ELMO 嵌入进一步提高了性能；研究人员还发现，只考虑文档中的特定区域就足够了，这使得我们可以规避 BERT 的最大文本长度限制，并使用 fine-tune BERT 在所有情况下获得了最佳结果。

    Jun, 2019

  • MultiEURLEX -- 用于零样本跨语言转移的多语言和多标签法律文件分类数据集

    MULTI-EURLEX 是一个多语言数据集，用于法律文件的主题分类，其中包含 65,000 个欧盟法律，并使用 EUROVOC 分类法进行了注释。 在使用该数据集进行零 - shot 跨语言转移时，发现使用单个源语言对多语言预训练模型进行微调会导致多语言语言知识的严重遗忘，并因此表现出较差的零 - shot 转移结果， 但是通过部分微调等调整策略可以帮助保留预训练模型的跨语言知识，从而显著提高零 - shot 跨语言转移性能。

    Sep, 2021

  • 合适的模型：法律多标签分类基线的评估

    在这项工作中，我们使用两个公共法律数据集 POSTURE50K 和 EURLEX57K，通过改变训练数据量和标签数量，评估了不同的多标签分类方法，结果显示 DistilRoBERTa 和 LegalBERT 在法律多标签分类中表现良好，而 T5 在生成模型中表现相当，并且 CrossEncoder 在提高宏 F1 分数方面具有潜力，尽管计算成本增加。

    Jan, 2024

  • HAXMLNet：用于极端多标签文本分类的分层注意力网络

    提出了一个名为 HAXMLNet 的层次化网络结构，利用多标签关注机制来解决极端多标签文本分类问题，并在实验中表现出与其他最先进方法相媲美的性能。

    Mar, 2019

  • 基于混合注意力机制的标签感知文档表示法用于极端多标签文本分类

    该研究提出了一种名为 LAHA 的模型，该模型利用文本内容和标签关联性之间的语义关系，建立了一个显式的标签感知表征，特别是在尾标签的情况下，使得模型在非常大规模的标签集中的文本标记任务中表现出了卓越性能。

    May, 2019

  • AttentionXML：基于标签树的注意力深度模型，用于高性能极端多标签文本分类

    本研究介绍了一种新的基于标签树的深度学习模型 AttentionXML，它采用多标签注意机制和浅而宽的概率标签树来处理极端多标签文本分类问题，能够对数百万个标签进行处理，并成功地解决了 BOW 和传统深度学习模型在文本分类中的局限性。在几个基准数据集上，AttentionXML 表现出比其他八种最先进的方法更好的性能，期望成为文本分类领域内的研究热点。

    Nov, 2018

  • 基于 Transformer 的极端多标签文本分类中局部和全局特征的利用

    本研究提出了一种方法来结合 transformer 模型所产生的局部和全局特征，从而提高分类器的预测能力，在大规模分类任务的基准数据集上表现优异。

    Apr, 2022

  • 极端多标签分类中的数据增广

    本文针对极端多标签分类（XMC）问题，提出了一种基于数据增强的分类方法，该方法利用预训练的 GPT-2 模型生成输入文本的无标记扰动以增强现有训练数据，并与使用 RoBERTa 的标签注意分类器相结合，取得了较优效果。

    Sep, 2020

  • 利用动态和细粒度的语义范围进行极端多标签文本分类

    本文提出了一种用于极端多标签文本分类的新型框架 TReaderXML，它采用动态和细粒度的语义范围来优化每个文本的先验类别语义范围，通过新型的双协作网络来找到目标标签，实验结果表明我们的方法在三个 XMLC 基准数据集上达到了新的最佳表现。

    May, 2022

  • 法律主题分类中实现逼真的零 - shot 跨语言转移

    本文讨论使用 MultiEURLEX 数据集进行零样本跨语言转移的法律主题分类，介绍了新版本的数据集和使用基于翻译的方法相对于之前最佳的跨语言预训练模型调参的方法的改进，同时提出了一种基于双语教师 - 学生的零样本转移方法。

    Jun, 2022