May, 2022

一种基于 Zipf 定律的从文档中提取实体的方法

PDF
TL;DR本研究提出了使用 Zipf 定律来解决文本中出现的目录不平衡问题，通过文本生成模型，将文档中常见和少见的实体词汇分类，标记少见实体，并在人工设计规则的帮助下，对工业安全技术文档中的实体进行提取，并通过实验结果证明该方法的有效性。
entity extractionzipf's lawtext generation modelscategory imbalanceindustrial safety
发现论文，激发创造
  • 英文文本中 Zipf 定律的大规模分析

    通过研究三种版本的 Zipf 定律并将它们拟合到 Project Gutenberg 数据库中所有可用的英文文本中，我们发现其中一种版本的 Zipf 定律在整个频率域内（从 1 到最大值）仅用一个自由参数就能拟合数据库中超过 40％的文本。

    Sep, 2015

  • 在线学习计算词向量

    本文提出一种从少量辅助数据中即时预测稀有词嵌入的方法，并在阅读理解、文本蕴含和语言建模等任务中，与仅在任务端训练的嵌入相比，展现了更好的结果。

    Jun, 2017

  • 分布语义的实用限制约束

    本文研究了语言模型在 Zipf 定律背景下的统计学习限制，表明无论什么标记都会出现 Zipf 的标记分布，标记分布由两个不同频率和语义的标记组成，这些特性干扰了由分布语义驱动的统计学习过程。

    Nov, 2022

  • 具有真实 Zipf 分布的文本生成动态

    本文通过随机动力学模型研究了文字 Zipf 定律的起源，并且阐述了该定律在人类语言中的语言学关联性。我们提出的模型结合了与语言结构相关的特征和长时间连续性文本生成过程中内在的记忆效应。研究结果表明，我们的模型的乘性动力学产生的等级 - 频率分布量化结果与实验数据定量一致。

    Dec, 2002

  • Zipf 定律适用于短语而非单词

    基于单词组成短语是语言中最基本的意义单元的简单观察，我们利用一种基于统计力学的可靠文本分区方法，将短语的 Zipf 定律拓展了九个数量级，使得文本分析得以更加严谨和广泛地进行。

    Jun, 2014

  • 超越词频：单词时间分布中的爆发、停滞和比例尺

    本研究发现，单词之间发生的距离时间间隔符合 Weibull 分布，该结果对 Zipf's law 的假设提出了挑战，也对集体人类动态的显性表现具有重要影响。

    Jan, 2009

  • 压缩和词频 Zipf 定律的起源

    通过优化编码方法，本文提出了一种新的针对语言词频的 Zipf 定律推导方式，该推导结构类似于曼德布洛特的随机打字模型，但具有多个优点，可以启发对语言其他统计定律的研究，从而进一步解释其产生动机，如简单易懂和快速交流等。

    May, 2016

  • 循环中的人类：如何通过手动标记每个类别中仅有的几个文档来有效创建连贯的主题

    本文研究表明，结合简单的主题提取方法的有监督少样本学习可以在仅使用每个类别少量标记文档的情况下，优于无监督主题建模技术，生成连贯的主题。

    Dec, 2022

  • 利用文档结构优化无监督法律案例摘要提取

    通过使用无监督的基于图形的排名模型，并使用重新加权算法来利用法律判决文件结构的特性，本研究研究了使用不同方法计算文档结构的影响，结果在加拿大法律案例实验数据集上表明了我们提出的方法优于多个强基线。

    Nov, 2022

  • 维基百科实体排名

    本研究利用分类、链接结构以及实体示例等方法，基于 Wikipedia 文献集合，提出了一种较为有效的实体排名系统，并发现该系统可以显著提高检索效果。

    Nov, 2007