ACLJul, 2023

MegaWika：50 种不同语言中数百万报告及其来源

PDF
TL;DR本研究介绍了一个名为 MegaWika 的数据集，包含 13 百万篇维基百科文章和 71 百万篇引用来源材料，可以用于协作的人工智能辅助报告生成。此外，还实现了跨语言应用的非英文文章翻译和基于 FrameNet 的自动语义分析，并提供了跨语言问答和引用检索的基线结果和训练模型。
collaborative ai-assisted report generationmegawikamultilingual report generation datasetautomated report generationcross-lingual question answering
发现论文，激发创造
  • WikiLingua：一种用于跨语言主旨提取的新基准数据集

    该研究介绍了 WikiLingua 项目，这是一个用于跨语言抽象摘要系统评估的大型多语种数据集。该数据集从 WikiHow 中提取出 18 种语言的文章和摘要对。研究者们使用图像对齐的方法为不同语言版本的文章与摘要建立起对应关系，并提出了一个使用合成数据和神经机器翻译的预训练方法进行直接跨语言摘要的方法，取得了显著的性能提升。

    Oct, 2020

  • 多语言维基百科研究的考虑因素

    本文详细介绍了不同语言版本的维基百科之间存在的差异，并提出了如何使用多语言和多模态数据进行研究和建模的建议。

    Apr, 2022

  • 一个用于评分维基百科可读性的开放多语言系统

    通过构建多语言模型评价维基百科文章的可读性，作者展示了该模型在 14 种语言中的零样本情况下的 80% 以上的排名准确率，并且提供了维基百科的可读性状况的第一个概述。

    Jun, 2024

  • WIT: 基于维基百科的图像文本数据集，用于多模态多语言机器学习

    本文介绍了 Wikipedia-based Image Text（WIT）数据集，该数据集是由不同语言构成的 37.6 百万个实体丰富的图像文本示例组成，可用于多模态模型的预训练，如应用于图像文本检索等下游任务。WIT 数据集有四个主要的优势，规模大、多语种、覆盖的概念和实体比以前的数据集更加多样化，并提供一个非常具有挑战性的真实世界的测试集。

    Mar, 2021

  • 任务的映射过程：从维基百科中的 Wikidata 语句到文本句子的转换

    本文介绍了一种将 Wikidata 语句转换为英文维基百科文章的任务转化为自然语言文本的方法，并且对输出内容进行了句子结构分析，噪声过滤以及基于词嵌入模型的句子构成关系评估。

    Oct, 2022

  • WikiOmnia: 面向全俄罗斯维基百科的生成式问答语料库

    该研究提出了 WikiOmnia 数据集，该数据集是一个公开的 QA 对和相应俄语维基百科文章摘要部分集合。该数据集通过自动化生成流程组成，可在不同领域（例如新闻文本、小说和社交媒体）中创建 SQuAD 格式的 QA，其结果数据集包括原始数据和经自动验证的清理数据。

    Apr, 2022

  • XWikiGen：低资源语言百科文本生成的跨语言摘要

    本研究针对缺乏百科全书文本贡献者的问题，提出了一种基于多语言参考文章的跨语言多文档摘要生成任务，同时建立了一个基准数据集，并提出了一种基于神经网络的有监督和无监督摘要生成系统，实验表明多领域的训练要优于多语言的设置。

    Mar, 2023

  • WIKIR: 基于维基百科构建大规模英语信息检索数据集的 Python 工具包

    本文提出了一种基于 Wikipedia 的开源工具 WIKIR 来自动构建大规模英文信息检索数据集，提供了 wikIR78k 和 wikIRS78k 两种共 78628 个查询和 3060191 个 (query,relevant documents) 匹配数据的公开数据集，以解决当前深度学习方法在小数据集上表现不佳并难以进行学术研究问题。

    Dec, 2019

  • 从 Wikidata 学习为少数语言生成维基百科摘要

    本文探讨如何使用 Wikidata 中的结构化数据来生成在 Wikipedia 贫穷语言中的开放领域概要。 为此，作者提出了一种神经网络结构，该结构配备有复制操作，可以学习从 Wikidata 三元组中生成单个句子和可理解的文本摘要。作者在阿拉伯语和世界语这两种不同特性的语言上对所提出的方法进行了评估，并证明了它的有效性。

    Mar, 2018

  • WikiReading：基于维基百科的大规模语言理解任务

    本论文介绍了一个基于大规模数据集的自然语言理解任务 - WikiReading，通过阅读相应维基百科文章，预测结构化知识库维基数据中的文本值，并对基于深度神经网络的模型进行了比较，发现最佳模型采用了一个具有复制词汇外单词机制的词级序列模型，获得了 71.8％的准确率。

    Aug, 2016