Jul, 2023

文本中的词汇多样性测量：双倍长度问题

PDF
TL;DR文本长度对词汇多样性的估计产生了一个世纪以来科学界的关注，虽然已提出许多指标和进行了许多研究来评估它们，但问题仍然存在。本方法论综述不仅对语言学习研究中最常用的指标进行了批判性分析，而且对于长度问题本身以及评估所提出解决方案的方法也进行了分析。对三个英语学习者文本数据集的分析表明，通过使用概率或算法方法将所有文本缩短到相同长度的指标解决了长度依赖性的问题；然而，所有这些指标都未解决第二个问题，即敏感性的参数决定缩短文本的长度。论文最后给出了优化词汇多样性分析的建议。
text lengthlexical diversitymethodological reviewlanguage learning studieslexical diversity analysis
发现论文，激发创造
  • 从文档级分布估计词汇复杂性

    我们开发了一种两步方法来评估词汇复杂度，不需要任何预先注释的数据，并且我们验证了该方法在挪威语中的有效性，并通过统计测试和对真实评估工具样本进行定性评估来调查复杂度测量与文献中通常与复杂度相关的某些特征之间的关系。

    Apr, 2024

  • 文本多样性的标准化测量：工具和分数的比较分析

    通过对英文文本的计算性高压缩算法和 $n$-gram 重叠同质性得分的测量，我们发现多种测量指标的组合（如压缩比、长 $n$-gram 的自我重复、Self-BLEU 和 BERTScore）足以报告多样性得分，并可应用于生成模型、调试指导型数据集和人工生产文本的分析。

    Mar, 2024

  • 文本匹配模型中长度偏差的研究

    本文研究文本匹配任务中深度模型是否真正理解语言或仅仅是利用数据集的统计偏差来衡量文本的语义相似性，发现普遍存在长度偏差启发式规则，并提出对抗训练方法以减缓长度偏差的影响，得到改进后的模型具有更强鲁棒性和泛化能力。

    Sep, 2021

  • 透明比较多语言自然语言处理数据集中的语言多样性的一种度量

    提出了一种评估数据集语言多样性的方法，通过比较语言特征集合的 Jaccard 指数来分析，发现大部分流行的多语种数据集中缺乏多种语言类型，特别是 (poly) synthetic languages。

    Mar, 2024

  • 词汇复杂度预测：概述

    本文主要介绍了如何利用计算模型思想来预测英文文本的词汇复杂度，并详细论述了基于传统机器学习分类器和深度神经网络的不同方法，以及相关实验和应用领域如文本简化。

    Mar, 2023

  • 混合代码社交媒体文本的复杂度度量

    本文讨论了如何确定在多语混杂的社交媒体文本中代码混杂的复杂度，并提出了新的指标以更好地反映多语混杂文档的复杂性，可应用于句子、段落或整个文档。

    Jul, 2017

  • 单词形式 —— 不仅仅是其长度 —— 被优化用于高效沟通

    研究发现，与语言中其他单词相比单词的独特性在识别流畅口语中的作用至关重要，且这种独特性可以通过语言的声音或字符序列的统计模型来测量，这也可以解释为什么短的单词反而较少使用；这一发现提供了证据表明听众的处理负担在跨语言的单词形式的微观层面起着关键性作用。

    Mar, 2017

  • LongWanjuan: 往长文本质量的系统测量

    通过评估连贯性、凝聚性和复杂性三个基本语言维度，我们系统性地衡量了长文本的质量，并引入了一套度量旨在评估长文本质量的指标，包括统计和预训练语言模型为基础的指标。利用这些指标，我们提出了 LongWanjuan，一个专门为增强语言模型在长文本任务上训练而设计的双语数据集，包含超过 160B 的标记。在 LongWanjuan 中，我们将长文本划分为整体性、聚合性和混乱性三种类型，从而能够对长文本质量进行详细分析。此外，我们设计了一种数据混合配方，策略性地平衡了 LongWanjuan 中不同类型的长文本，从而显著提高了模型在长文本任务上的表现。

    Feb, 2024

  • 将关键词提取和词汇多样性相结合以表征出版物标题中的思想

    本文研究了利用不同短语检测模型检测科学论文的标题从而找出涵盖科研进展的关键词组，目的在于优化文献词汇多样性的度量与自动化剔除非特定短语。研究结果比较了多个短语检测模型的性能，并分析了每个模型生成的关键词组，使用四个常用的词汇多样性指标计算了每个模型关键词组的文献变量中的词汇多样性。

    Aug, 2022

  • 文档级语义的长度既是诅咒也是福泽

    通过对文档长度的语义信号进行研究，本文提出了一种简单且通用的文档表示学习框架 LA (SER)$^{3}$，实现了在标准信息检索基准上的最先进的无监督性能。

    Oct, 2023