COLINGMar, 2020

NYTWIT: 纽约时报中的新词语数据集

PDF
TL;DR本研究介绍 New York Times Word Innovation Types dataset（NYTWIT）数据集，包括超过 2500 个英语新词汇，手动标注其创新类型，希望为语言学家和 NLP 从业者提供新词汇出现的真实环境，并且展示了对于 NLP 系统的非上下文和上下文预测的基线结果，表明仍有提高空间。
nytwitenglish wordsnoveltynlp systemslinguists
发现论文，激发创造
  • 学习预测新颖的名词 - 名词组合

    本文介绍了一种感知时间和语境的模型用于预测未知合成名词所表达的可信概念，该模型在在一个时间戳语料库上训练，可以识别真实的和虚假的合成名词。经测试，该模型在多大约 85% 的情况下能正确分类自动生成的新的合成名词并有五分之一的新合成名词被评定为可信。

    Jun, 2019

  • WIKITIDE: 基于维基百科的时间戳定义对数据集

    本文介绍了 WikiTiDe 数据集，该数据集通过从维基百科提取的带时间戳的定义对创建而来。我们提出了完全自动的端到端方法，并利用自举算法逐步创建高质量数据集。研究结果表明，自举种子版本的 WikiTiDe 可以得到更好的微调模型，并在多个下游任务中取得了有竞争力的结果。

    Aug, 2023

  • 新闻分类数据集

    本论文介绍了一份包含近 21 万篇新闻头条的数据集，收集自 HuffPost，并探讨了该数据集在自然语言处理领域的现有和潜在应用，这对于学习真实新闻的语法和语义至关重要，尤其在当前假新闻泛滥的背景下。

    Sep, 2022

  • WiLI 基准数据集用于书面语言鉴别

    本篇论文介绍了 WiLI-2018 基准数据集，它是一个用于单语文本识别的公开免费数据集，包含来自维基百科的 1000 个段落，涵盖了 235 种语言，为分类数据集，用于确定未知主导语言的段落所属的语言。

    Jan, 2018

  • 语言变化的统计显著检测

    提出了一种新的计算方法，用于跟踪和检测单词的语义和用法中的统计显着语言转变，并对一定时间内的单词用法进行了分析，最终使用深度人工神经网络模型，构建了时间序列，使用其跟踪了语言变化趋势。

    Nov, 2014

  • 来自全球的多语种新闻标题数据集

    Babel Briefings 是一个新颖的数据集，包含了 2020 年 8 月至 2021 年 11 月的 470 万条新闻标题，涵盖了 30 种语言和 54 个地点，其中包括所有文章的英文翻译。该数据集适用于自然语言处理和媒体研究，是用于训练或评估语言模型的高质量数据集，同时也提供了一个简单易用的文章集合，用于分析全球新闻报道和文化叙述。通过使用基于 TF-IDF 加权相似度度量的基本过程将文章分组为关于同一事件的聚类，我们展示了该数据集所支持的分析功能，并可视化事件的 “事件签名”，展示随时间推移出现的语言和事件的意外程度。该数据集可在 Kaggle 和 HuggingFace 上获取，并附带 GitHub 代码。

    Mar, 2024

  • KPTimes：一份针对新闻文档的大规模关键词生成数据集

    本文介绍了 KPTimes 数据集，该数据集为新闻文本配对了编辑策划的关键词汇，并培训和评估了最先进的神经关键词生成模型，以获得其在新闻领域表现的深入洞见。

    Nov, 2019

  • 英文文学代词消解的已注释数据集

    本文提出了一个新的数据集，其中包含 100 部英文小说的 29,103 个指代注释，涵盖了 210,532 个标记。这个数据集对比以前的数据集不同的地方在于包含了平均长度为 2,105.3 个单词的文档，是其他基准数据集的四倍长（OntoNotes 为 463.7），并且包含了文学中常见的难度指代问题的示例。这个数据集可以评估指代消解任务的跨领域性能，并分析长距离文档内指代的特征。

    Dec, 2019

  • WIT: 基于维基百科的图像文本数据集，用于多模态多语言机器学习

    本文介绍了 Wikipedia-based Image Text（WIT）数据集，该数据集是由不同语言构成的 37.6 百万个实体丰富的图像文本示例组成，可用于多模态模型的预训练，如应用于图像文本检索等下游任务。WIT 数据集有四个主要的优势，规模大、多语种、覆盖的概念和实体比以前的数据集更加多样化，并提供一个非常具有挑战性的真实世界的测试集。

    Mar, 2021

  • 预训练语言模型中习语的探索数据集和方法

    本文介绍了一个包含英语和葡萄牙语的细粒度含义数据集，用于测试语言模型对习语使用的检测能力和生成含有习语句子的表现效果，并且发现 fine-tuning 是学习包含 MWE 的句子表示的一种有效的样本高效方法。

    Sep, 2021