May, 2018

使用文档向量嵌入和深度学习进行法律文件检索

PDF
TL;DR本研究使用三种模型，分别基于向量空间表示法，将法律案例文档表示为不同的向量空间，并结合语义词度量和自然语言处理技术，展示了在信息检索过程中引入领域特定语义相似性测量的必要性，表明整合多种技术可显著提高信息检索的准确性，同时还展示了词相似度测量分布变化及文档向量维度变化对法律信息检索过程的影响，从而为信息检索提供了更好的方案。
domain specific information retrievalnatural language processinglegal domainvector space representationensemble model
发现论文，激发创造
  • 编码摘要化：将文档汇总为连续向量空间，用于法律案例检索

    我们通过引入深度神经网络的短语评分框架，将文档进行编码并汇总为连续向量空间的方法来解决法律案件检索任务，同时探索了词汇特征和神经网络生成的潜在特征的结合带来的好处。实验证明，词汇特征和神经网络生成的潜在特征相互补充，提高了检索系统的性能。此外，实验结果表明了案件汇总在不同方面的重要性：使用提供的摘要和执行编码摘要。我们的方法在法律案件检索任务的实验数据集上实现了 65.6% 和 57.6% 的 F1 得分。

    Sep, 2023

  • 利用上下文相似性进行判决引用检索

    我们提出了一种结合自然语言处理和机器学习技术的方法，通过创建文本嵌入来增强法律案例描述的组织和利用，实现无监督聚类和有监督引文检索，以自动化提取引文的过程，从而实现更高效、节省时间、便捷的法律研究和论证。

    May, 2024

  • 多视角文档表示学习在开放域密集检索中的应用

    本文提出了一种多视角文档表示学习框架，通过生成多个视图嵌入来表示文档，并通过全局 - 局部 loss 函数来防止多视图嵌入坍塌到同一个嵌入中，实现了稳定性的匹配，在密集检索方面取得了最新的成果。

    Mar, 2022

  • 对比学习和专家混合使得向量嵌入更精确

    我们针对高度专业化的科学子领域中，传统方法不能很好地进行文本分类和矢量表示的问题，提出了使用共引作为相似度度量的专业数据集，并结合领域特定微调和专家混合的通用适应性方法，实现了在多个任务上具有高效性的通用 Transformer 网络，显著推进了科学文本分类指标的发展，并有望增强矢量数据库的搜索和编译。

    Jan, 2024

  • 将文档和查询表示为嵌入词向量集以进行信息检索

    提供一种使用词向量嵌入表示整个文档的有效方法，通过将文档和查询表示为单词向量集，使用单词集中每个单词对之间的相似性来计算标准相似性度量，提高 TREC 自适应数据集中的平均精确度。

    Jun, 2016

  • 将相关文档纳入 word2vec 中

    本文针对词嵌入模型在信息检索任务中存在的问题及其局限性，提出了一种基于 word2vec Skip-Gram 模型的神经网络模型，通过显式向量表示的方式，增加了模型的可解释性和准确性，实现了查询词汇的局部信息融合，提高了指定任务状态下的表现表现。

    Jul, 2017

  • 利用领域预训练和神经网络增强法律论证挖掘

    本文对传统词嵌入模型与 BERT 模型在人权法庭裁决文本的法条分析任务中的表现进行了比较，实验证明领域特定的 BERT 模型有很大的潜力，而传统的词嵌入模型在与神经网络层结合后也能表现出很强的性能。

    Feb, 2022

  • 无监督，高效和语义型专家检索

    本文引入了一种无监督的辨别模型，用于在线文档检索。我们仅使用文本证据，通过无监督学习分布式词表示来避免显式特征工程。我们将我们的模型与最先进的无监督统计向量空间和概率生成方法进行比较，并发现我们的模型在大多数情况下可以与监督方法匹配，且算法成本较低，因此可以取得与所谓的基于档案的方法相同的检索性能水平。

    Aug, 2016

  • 使用段落向量进行文档嵌入

    本文针对段落向量的应用进行研究，评估其在文本相似度计算方面的性能，同时探究其向量操作在语义任务上的效果。通过对比潜在狄利克雷分布模型等其他文本建模算法，实验结果表明段落向量方法在性能上优于其他方法，并提出了改进模型提高嵌入质量的简单方法。

    Jul, 2015

  • 社会科学中词嵌入的评估

    本文介绍了基于 37,604 篇开放获取的社会科学研究论文构建和评估词向量模型。在评估中，我们比较了特定领域和通用语言模型在语言覆盖、多样性和语义关系方面的差异。我们发现，即使词汇表的大小相对较小，所创建的特定领域模型覆盖了社会科学概念的大部分，与更通用的模型相比，邻域更加多样化。在所有关系类型中，我们发现更广泛的语义关系覆盖范围。

    Feb, 2023