Apr, 2012

语言复杂度的实用方法：维基百科案例研究

PDF
TL;DR使用维基百科的英语文本，对简单英语维基百科和主要英语维基百科进行了语言复杂度的统计分析，发现虽然简单英语的语言词汇更简化，但实际上与主要英语的词汇丰富程度相同；同时通过更长的单元（单词和词性标记）的详细分析发现，简单英语相对于主要英语主要表现在使用更短的句子，而不是显著简化的语法或词汇。Gunning 可读性指数的比较也支持了这个结论。此外，该研究进一步分析了语言复杂度与文章主题依赖性之间的关系，并发现概念性文章中的语言更为高级。最后，研究还对话题和语言复杂度之间的关系进行了调查，并得出结论说，有争议性的文章更容易降低语言复杂度。
发现论文，激发创造
  • 全球为何阅读维基百科：超越英语使用者

    本文通过在 14 种不同语言版本的维基百科上进行大规模的调查和用户行为跟踪分析，比较研究读者对维基百科的使用情况和行为习惯，发现不同语言版本的维基百科普遍存在一些共同但也有实质性的差异，其中某些使用情况与特定的行为模式密切相关，并且特定的维基百科使用情况更常见于一些具有特定社会经济特征的国家。这些发现对于维基百科的编辑和其他 Web 技术的开发具有重要意义，有助于更好地了解读者的动机和行为。

    Dec, 2018

  • 多语言维基百科研究的考虑因素

    本文详细介绍了不同语言版本的维基百科之间存在的差异，并提出了如何使用多语言和多模态数据进行研究和建模的建议。

    Apr, 2022

  • 为简单起见：从维基百科中无监督地提取词汇简化

    研究利用 Simple English Wikipedia 编辑历史信息提取词汇简化，通过编辑模型与元数据两个方法，发现这两种方法的效果均优于基准结果，并能产生高质量的词汇简化。

    Aug, 2010

  • 自然语言的复杂系统方法

    从复杂性科学的角度总结了自然语言研究中使用的主要方法概念，并记录了这些方法在识别语言的通用和系统特征方面的适用性。讨论了数量语言学中三个与复杂性相关的研究趋势，包括对文本中单词频率的研究、基于时间序列分析的方法应用于研究书面文本中的相关性、以及将网络形式主义应用于自然语言研究中。

    Jan, 2024

  • 一个用于评分维基百科可读性的开放多语言系统

    通过构建多语言模型评价维基百科文章的可读性，作者展示了该模型在 14 种语言中的零样本情况下的 80% 以上的排名准确率，并且提供了维基百科的可读性状况的第一个概述。

    Jun, 2024

  • 分析跨语种维基百科文章对的时间演变

    研究称，维基百科不同语言版本中表示实体或主题的文章独立演变，会产生不同观点的反映，需要对信息如何跨越维基百科语言版本进行分析，以支持质量控制。为了便于分析，研究者提出了一个名为 MultiWiki 的新型基于 Web 的用户界面，可以在时间轴上提供从不同语言版本来源的文章对中相似性和差异的概观。这使得用户能够观察跨语言文章相似性随时间的变化，并在特定时间点执行文章快照的详细视觉比较。

    Feb, 2017

  • 德语文本复杂度的主观评估数据集

    该研究提供了 TextComplexityDE 数据集，其中包括 1000 个句子，采自不同领域的 23 篇德文维基百科文章，用于开发文本复杂性预测模型和德语自动文本简化。该数据集包括由德语学习者在 A 和 B 级别提供的不同文本复杂度方面的主观评估，此外，还包括了由母语德语者提供的 250 个句子的手动简化以及目标群体参与者对简化后句子的主观评估。主观评级使用实验室研究和众包方法进行收集。

    Apr, 2019

  • 英语、葡萄牙语和西班牙语的词汇简化基准

    本研究呈现了一个新的数据集以适用于三种语言且提供了建立和评估词汇简化系统所需的高质量数据体。通过采用神经网络架构，对两种高级系统进行了适应和评估，结果在英语中表现最佳。

    Sep, 2022

  • 一个词汇复杂度词典和神经可读性排名模型，用于词汇简化

    本文利用基于人类判断的词汇复杂性词典和基于高斯的特征向量化层提出了一种新的神经可读性排名模型，用于衡量任何给定单词或短语的复杂性，并通过将该模型应用于 Paraphrase 数据库（PPDB）生成了超过 1000 万个简化的复述规则。实验证明，我们的模型在不同的词汇简化任务和评估数据集上表现优于现有的最佳系统。

    Oct, 2018

  • 词汇复杂度预测：概述

    本文主要介绍了如何利用计算模型思想来预测英文文本的词汇复杂度，并详细论述了基于传统机器学习分类器和深度神经网络的不同方法，以及相关实验和应用领域如文本简化。

    Mar, 2023