Feb, 2022

从维基百科修订历史中挖掘自然形成的纠错和改写

PDF
TL;DR通过 Wikipedia 修订历史创建的 WiCoPaCo（Wikipedia 纠正和改写语料库）是一个重要的资源，它包含了人工编辑的大量文本修正和改写，对于训练、评估自动处理文本的过程以及语言研究都非常有用，本文介绍了 WiCoPaCo 的主要动机、构建方式和在法语方面的初步应用。
linguistic phenomenatext processingwikipediaeditingsfrench
发现论文，激发创造
  • WikiAtomicEdits: 用于语言和话语建模的维基百科编辑多语言语料库

    通过 Wikipedia 的编辑历史，我们发布了 4300 万次跨 8 种语言的原子编辑数据集，研究表明模型训练于编辑数据集与原始语料库将编码不同的语义和话语方面。

    Aug, 2018

  • 使用非正式词语识别和改写系统自动编制学术写作资源及评估

    通过自动化建立写作资源，改进学术写作风格，为撰写学术论文提供帮助。同时运用不同的通用方法，建立资源用于自动识别非学术用语，并在上下文中自动生成和排序。最终建立一个领域独立的写作资源方法论。

    Mar, 2020

  • 自然故事语料库

    为了比较人类语言处理模型，许多研究使用富自然语言材料的语料库来预测参与者反应，但这些研究所使用的许多语料库是基于自然文本的，因此缺少许多频率低的句法结构，而这些句法结构是区分处理理论所必需的。本文提出一种新的语料库，包含许多低频句法结构且易于被母语人士理解，该语料库已标注手动修正的语法树，并包括了自定速度阅读时间的数据。

    Aug, 2017

  • 从图像标题中获取释义

    本文介绍了一种新的挖掘图像说明文字的方法， 构建并分析了相应数据集，证明了其作为解释的潜力，并通过算法确定了不同来源的特征地图，以识别来自不同来源的释义方式。

    Jan, 2023

  • 维基百科的文本重用：内部和外部

    Wikipedia 的文本复用在内外部的意义和影响等方面被探讨，并利用最先进的文本复用探测技术在分布式检索管道中规模化处理了整个维基百科。

    Dec, 2018

  • 从维基百科分类中挖掘自然语言推理知识

    使用自然标注的维基百科类别层次结构构建的 428,899 个短语对构成的 WikiNLI 资源，通过对 BERT 和 RoBERTa 进行预训练和模型迁移，证明可以最大限度地提高模型在自然语言推理和词汇蕴含方面的表现并在其他语言中表现良好。

    Oct, 2020

  • 从维基百科中挖掘意义

    该研究论文全面描述了如何将 Wikipedia 蕴藏的概念、关系、事实及描述提取出来并进行应用，分为四个方面：将其应用于自然语言处理、用于信息检索和信息提取、作为本体论构建的资源以及如何将其与其他结构结合创建全新的资源。此外，提及了参与此研究领域的机构、个人及其近年来的发展。

    Sep, 2008

  • 为简单起见：从维基百科中无监督地提取词汇简化

    研究利用 Simple English Wikipedia 编辑历史信息提取词汇简化，通过编辑模型与元数据两个方法，发现这两种方法的效果均优于基准结果，并能产生高质量的词汇简化。

    Aug, 2010

  • WikiIns：一个高质量的数据集，用于通过自然语言指令进行受控文本编辑

    本论文研究了通过自然语言指令进行受控文本编辑的问题，并建立了高质量的 WikiIns 数据集以解决现有数据集的信息不足的问题。通过预处理维基百科编辑历史数据库，并进行众包验证和测试，以及小规模训练集的构建，还提出自动生成大规模 “银” 训练集的自动方法。通过对 WikiIns 数据集的分析和实验结果，可以促进文本编辑领域的研究。

    Oct, 2023

  • 自动生成排名的俄语改述语料库用于文本生成

    本文是关于用于俄语释义生成的大规模语料库进行自动开发和排名的，提出了 ParaPhraser Plus 数据集以解决目前该领域小规模的语料库难以在文本生成中应用的问题，并使用 Universal Transformer 架构进行了实验。

    Jun, 2020