本文提出了一个可用于建立自动检测低资源语言（如孟加拉语）虚假新闻系统的标注数据集，同时提供了数据集分析和基准系统，采用传统语言特征和神经网络技术，为防止虚假信息传播建立技术贡献。

Apr, 2020

本文介绍了几种机器和深度学习方法，应用于孟加拉语新闻分类。这些方法包括逻辑回归、支持向量机、卷积神经网络以及词向量等，同时提出了自动标记的方法，并在孟加拉语最大的新闻分类数据集 Potrika 上评估了它们的性能。

Oct, 2022

Varta 是一个大规模的多语言数据集，用于生成印度语言的标题。该数据集包含 14 种不同的印度语言（以及英语）的 4180 万篇新闻文章，是目前可用的经过精心筛选的印度语言文章的最大集合。该数据集可以用于预训练强大的语言模型，其表现优于竞争基线，在 NLU 和 NLG 基准测试中均表现出色。

May, 2023

该论文提出了 MasakhaNEWS 数据集来支持在 16 种非洲语言上的新闻主题分类研究，并探索了多种机器学习方法以支持零样本和少样本学习。通过使用 ChatGPT 等技术实现了在低资源非洲语言中进行新闻主题分类任务，能够在零样本情况下实现平均 F1 得分 70，利用 PET 方法，10 个样本即可实现较好的效果。

Apr, 2023

Babel Briefings 是一个新颖的数据集，包含了 2020 年 8 月至 2021 年 11 月的 470 万条新闻标题，涵盖了 30 种语言和 54 个地点，其中包括所有文章的英文翻译。该数据集适用于自然语言处理和媒体研究，是用于训练或评估语言模型的高质量数据集，同时也提供了一个简单易用的文章集合，用于分析全球新闻报道和文化叙述。通过使用基于 TF-IDF 加权相似度度量的基本过程将文章分组为关于同一事件的聚类，我们展示了该数据集所支持的分析功能，并可视化事件的 “事件签名”，展示随时间推移出现的语言和事件的意外程度。该数据集可在 Kaggle 和 HuggingFace 上获取，并附带 GitHub 代码。

Mar, 2024

本论文介绍了一份包含近 21 万篇新闻头条的数据集，收集自 HuffPost，并探讨了该数据集在自然语言处理领域的现有和潜在应用，这对于学习真实新闻的语法和语义至关重要，尤其在当前假新闻泛滥的背景下。

Sep, 2022

在这项工作中，我们关注通过理解文本的上下文来自动识别给定在线报纸的政治意图。为了解决这个问题，我们提出了一个新颖的韩文文本分类数据集，其中包含各种文章，并提供了在该数据集上训练的基于深度学习的文本分类基线模型。

Nov, 2023

本论文介绍了 AlbNews，这是一个包含 600 个主题标记的阿尔巴尼亚新闻标题和 2600 个未标记标题的集合，可用于进行主题建模研究。我们报告了一些传统机器学习分类器使用 AlbNews 样本进行训练的初始分类分数。结果显示基本模型超过了集成学习模型，并可作为未来实验的基准。

Feb, 2024

本文介绍 IndicNLG 基准，一个用于评估 11 种 Indic 语言的自然语言生成的数据集集合，包括人物传记生成、新闻标题生成、句子摘要、改写生成和问题生成等 5 个不同的任务，使用预训练序列到序列模型和多语言基线来评估性能，并表明多语言特定预训练模型的强大性能和我们数据集训练的模型对其他相关 NLG 任务的实用性。

Mar, 2022

通过并行翻译圣经来开发广泛的主题，并利用众包工具收集标记数据，标注英文端的数据，并通过已对齐的诗句将标签映射到其他语言，从而为 1500 多种语言生成文本分类数据集，并对多个现有的多语言语言模型进行广泛基准测试。

May, 2023