ACLApr, 2018

人类语言序列的泰勒定律

PDF
TL;DR本文描述了一种用于自然语言中的泰勒定律度量的新方法，并对跨 14 种语言的 1100 个文本进行了分析，发现书面自然语言文本的泰勒指数呈现几乎相同的值，同时，还比较了其他语言相关数据的泰勒指数，结果显示出泰勒指数可用于量化语言时间序列的基本结构复杂性，文章还展示了这些发现在评估语言模型方面的适用性。
taylor's lawquantificationnatural languagetaylor exponentsstructural complexity
发现论文，激发创造
  • 语言学中的统计规律

    文章回顾并批评性讨论了用于描述语言统计规律的通用定律，证明了它们所包含的同时性和独立性等简化统计假设不一定总是成立，阐述了语言定律只有与文本的生成模型结合使用才具有意义和可证伪性，并使用大型数据库的文本生成检验了这些假设的效果并测得大于预期的波动量。

    Feb, 2015

  • 复杂系统中的波动缩放：泰勒定律及其发展

    本文综述了许多领域中复杂系统中的波动标度性结构及其数学模型，并提出了该现象普遍性的基本原理及其在物理系统中的应用，其中包括 Taylor 定律或者波动标度律。

    Aug, 2007

  • Zipf 定律适用于短语而非单词

    基于单词组成短语是语言中最基本的意义单元的简单观察，我们利用一种基于统计力学的可靠文本分区方法，将短语的 Zipf 定律拓展了九个数量级，使得文本分析得以更加严谨和广泛地进行。

    Jun, 2014

  • 单词频率统计中的尺度律和波动

    通过大型文本数据库的统计分析与简单随机模型的结合，解释了单词频率统计中的尺度律出现原因及其涵义，模型表示词频分布服从 Zipf's Law，并且单词的频率受到文章主题模型中波动的影响。同时，该文章还对词汇丰富度进行了测量和分析。

    Jun, 2014

  • 生物学中的语言学规律

    语言学规律在生物学中的研究，通过提出一个新的概念框架，整合了不同层次的分析，并将语言学规律与生物学核心理论统一起来。

    Oct, 2023

  • 英文文本中 Zipf 定律的大规模分析

    通过研究三种版本的 Zipf 定律并将它们拟合到 Project Gutenberg 数据库中所有可用的英文文本中，我们发现其中一种版本的 Zipf 定律在整个频率域内（从 1 到最大值）仅用一个自由参数就能拟合数据库中超过 40％的文本。

    Sep, 2015

  • 在线媒体字数增长的 Logistic 方程微小扩展：对社会增长现象多样性的参数描述

    通过分析日本博客文章并使用扩展的 Logistic 方程式，研究了新词汇在全国性在线社交媒体上的增长模式和趋势，并发现了新词汇增长的模式与传统复杂系统的逻辑函数有所不同，同时对 Google Trends 数据进行了验证。

    Nov, 2022

  • 超越词频：单词时间分布中的爆发、停滞和比例尺

    本研究发现，单词之间发生的距离时间间隔符合 Weibull 分布，该结果对 Zipf's law 的假设提出了挑战，也对集体人类动态的显性表现具有重要影响。

    Jan, 2009

  • 具有真实 Zipf 分布的文本生成动态

    本文通过随机动力学模型研究了文字 Zipf 定律的起源，并且阐述了该定律在人类语言中的语言学关联性。我们提出的模型结合了与语言结构相关的特征和长时间连续性文本生成过程中内在的记忆效应。研究结果表明，我们的模型的乘性动力学产生的等级 - 频率分布量化结果与实验数据定量一致。

    Dec, 2002

  • 大型语言模型的时间尺度定律

    最近，大型语言模型广泛应用于各种任务，对于如何扩展语言模型对其性能的影响的研究引起了越来越多的关注。本文提出了新概念的时间缩放定律，并研究了语言模型在时间维度上的损失。研究发现，尽管存在损失不平衡，语言模型在不同的令牌位置上学习是均匀的。通过在各种规模的预训练语言模型上进行的实验验证了这一现象，并提供了对预训练语言模型更深入的理解。

    Apr, 2024