SIGIRApr, 2023

法律文件页面的上下文感知分类

PDF
TL;DR本研究提出了一种简单而有效的方法，通过引入循环来增强输入，使得预训练的 Transformer 模型可以用于上下文感知的页面分类，进而显著提高文档页面分类的性能。
document image classificationpre-trained language modelsrecurrencetransformer modelslegal datasets
发现论文，激发创造
  • 巴西法律文件的序列感知多模态页面分类

    本研究探讨了巴西最高法院文件的多模式分类，采用 ResNet 与多核卷积神经网络提取视觉和文本特征以及 biLSTM 网络建模页面的序列性，发现多模式分类优于单一模式分类。

    Jul, 2022

  • 利用上下文化大语言模型理解法律文件

    针对印度等人口密集的国家法律案件增长的问题，本论文提出了解决该问题的有效技术 ——SemEval-2023 任务 6：理解法律文本的系统，该系统利用 Legal-BERT-HSLN 模型和 Legal-LUKE 模型预测法律文件的修辞角色和识别法律实体，并表明模型优于基线模型，在领先的任务排行榜中取得显著成绩。

    Mar, 2023

  • 超越文档页面分类：设计、数据集和挑战

    本文强调将文档分类基准测试更贴近实际应用的需求，包括在测试的数据性质 ($X$：多通道、多页、多行业；$Y$：类别分布和标签集的多样性) 以及所考虑的分类任务 ($f$：多页文档、页面流和文档捆绑分类)；我们确定了公共多页文档分类数据集的缺乏，形式化了应用场景中产生的不同分类任务，并提出了针对高效多页文档表示的价值的动机；对所提出的多页文档分类数据集进行的实证研究表明，当前的基准测试已经不再相关，需要更新以评估实际中出现的完整文档；这种现实检验也呼吁采用更成熟的评估方法，包括校准评估、推理复杂性（时间 - 内存）和一系列现实分布变化（如 born-digital vs. 扫描噪音、页面次序变化）；我们研究以对未来改进提出具体建议的希望之声作为结束。

    Aug, 2023

  • 使用 Bi-LSTM 进行文档分类以排除巴西最高法院的拥堵

    本文提出了一种使用双向长短期记忆网络（Bi-LSTM）对巴西法院系统中分类法律文件进行分析的方法。

    Nov, 2018

  • 上下文预训练：超越文档边界的语言建模

    大型语言模型通过 In-Context 预训练，在处理涉及相关文档的任务时，能够显著提高性能，包括复杂的语境推理、长文本推理、检索增强等。

    Oct, 2023

  • 法律文件的结构化文本分段

    本研究提出了一种基于 transformer 网络和结构化文本分割的方法来预测跨越多个段落的连续文本段落的主题连贯性，以更有效地满足用户特定的信息需求，研究结果表明，此方法显著优于基线，并适应法律文件的结构特点。

    Dec, 2020

  • 复杂文档分类：比较定制解决方案与大型语言模型

    寻找最佳的自动分类方法来对一组复杂的法律文件进行分类，研究使用经过微调的大型语言模型是否能够达到定制训练模型的准确性，并确定所需的微调量。

    Dec, 2023

  • 重新审视基于 Transformer 的长文档分类模型

    本研究使用稀疏注意力机制和分层变换器方法，对基于 Transformers 的长文本分类进行比较，探讨了四个文本分类数据集，并得出了实际应用此方法的实用建议。

    Apr, 2022

  • 对句级双语的恢复文档注释

    我们对德语、法语、西班牙语、意大利语、波兰语和葡萄牙语的三个大规模数据集（ParaCrawl、新闻评论和 Europarl）进行了文档级信息的重建，并引入了文档级过滤技术作为传统双语过滤的替代方法。我们通过分析表明，该方法偏好于与上下文一致的翻译，而不是可能是句级机器翻译的翻译。最后，我们在这些更长的上下文上训练模型，并证明了文档级翻译的改进而不降低句级翻译。我们将我们的数据集 ParaDocs 和生成的模型作为资源发布给社区。

    Jun, 2024

  • 提高法律文本处理中的注意力神经网络

    通过实验验证，着重介绍了改进注意力神经网络在自动法律文件处理方面的主要成果，但普遍的自然语言处理模型对于特殊领域如法律文件的适应性仍有挑战。

    Mar, 2022