MMJul, 2020

斯里兰卡 Facebook 十年的僧伽罗语语料库和停用词

PDF
TL;DR本文介绍来自 LIRNEasia 的 Data, Analysis and Policy 团队的两个疯狂的僧伽罗语语料库，以及一个算法派生的停止词列表。其中较大的语料库跨越 2010 年到 2020 年，包含了斯里兰卡的 533 个 Facebook 页面发布的 28,825,820 到 29,549,672 个多语种文本，包括政治、媒体、名人和其他类别；较小的语料库仅包含从较大的语料库中提取出的 5,402,76 个僧伽罗语文本。两个语料库都有它们创作日期、来源页面和内容类型的标记。
发现论文，激发创造
  • 公开可用的僧伽罗语自然语言处理工具与研究调查

    本文对公开可用的信杭拉自然语言处理工具和研究进行了全面的文献综述，以帮助该领域的研究人员更好地利用同行的贡献。

    Jun, 2019

  • NSINA：斯巴达的新闻语料库

    本研究介绍了 NSINA，这是一个由 500,000 篇流行信拉语新闻网站上的文章构成的全面新闻语料库，并提出了三个自然语言处理任务：新闻媒体识别、新闻类别预测和新闻标题生成，旨在解决适用 LLMs 到信拉语的挑战，并为改进信拉语自然语言处理提供宝贵的资源和基准。NSINA 是迄今为止最大的信拉语新闻语料库。

    Mar, 2024

  • SOLD：僧伽罗语攻击性语言数据集

    本研究针对斯里兰卡使用人数超过 1700 万的 Sinhala 语，开发了一个手工注释的数据集 SOLD，和一个更大的半监督数据集 SemiSOLD，用以改进机器学习模型鉴别 Sinhala 语的具有攻击性的语言的能力。

    Dec, 2022

  • 僧伽罗语 - 英语平行词典数据集

    为了解决低资源语言缺乏人工标注的问题，本研究提出了三个用于英语和僧伽罗语自然语言处理任务的平行英 - 僧伽罗词典数据集，并介绍了数据集创建流程和验证数据集质量的实验结果。

    Aug, 2023

  • 深度学习模型在情感分析中的应用：对十年的僧加罗语 Facebook 数据的比较研究

    本研究对十年来的辛哈拉语帖子进行了测试，发现采用三层双向 LSTM 模型的 F1 分数为 84.58％，优于当前最先进的模型 Capsule B，而其他深度学习模型都显示出高于 75％的 F1 分数，因此可以安全地断言 Facebook 反应适合预测文本的情感方向。

    Jan, 2022

  • 改进文本分析和信息检索的 TF-IDF 方法下的马拉地语停用词筛选

    我们研究了停用词在马拉地语中的应用，使用 MahaCorpus 数据集中的 2400 万个句子，结合 TF-IDF 方法和人工评估，筛选出具有强大效果的 400 个停用词，并将其应用于文本分类任务。该研究还提出了在资源有限的语言中进行停用词筛选的简单方法。停用词已集成到 mahaNLP 库中，并在此 https URL 上公开提供。

    Jun, 2024

  • 15 亿词的阿拉伯语语料库

    本研究旨在建立一份当代阿拉伯文语料库，收集了包括 8 个阿拉伯国家 10 个主要新闻来源的报纸文章，共计超过 5 百万篇文章，包含 15 亿个单词，标记了 SGML 和 XML 两种标记语言，并使用 UTF-8 和 Windows CP-1256 两种编码格式。

    Nov, 2016

  • 塞尔维亚语言建模的新文本语料库

    该文章介绍了用于大型语言模型训练的塞尔维亚语（和塞尔维亚 - 克罗地亚语）的文本语料库，并公开存储在多个知名在线资源库之一。对每个语料库使用多种方法进行分类，并详细说明其特点。此外，文章还介绍了三个新的语料库：一个新的塞尔维亚 - 克罗地亚语综合网络语料库，一个基于塞尔维亚所有大学国家博士论文库中的博士学位论文的高质量语料库，以及同一来源的摘要翻译平行语料库。将通过基于频率的文体测量方法评估新旧语料库的独特性，并对结果进行简要讨论。

    May, 2024

  • 非洲停用词项目：整理非洲语言的停用词

    该研究的目标是研究非洲语言中的常用词以便进行信息检索和自然语言处理，同时在该研究中介绍十种非洲语言的停用词收集进展以及未来计划。

    Mar, 2023

  • Kencorpus: 一个用于自然语言处理任务的肯尼亚斯瓦希里语、多鲁奥语和卢希亚语语料库

    Kencorpus, the first corpus of its kind for low-resource Indigenous African languages, endeavors to fill the gap in the development of Natural Language Processing and Machine Learning datasets for Swahili, Dholuo, and Luhya languages, enabling text and speech data-driven solutions in applications like machine translation, question-answering, and transcription.

    Aug, 2022