Aug, 2018

Arap-Tweet：一个多方言 Twitter 语料库，用于性别、年龄和语言变体识别

PDF
TL;DR本文介绍了 Arap-Tweet，这是一个涵盖阿拉伯世界 11 个地区和 16 个国家方言变体的大规模、多方言 Tweets 语料库，其中包括针对年龄、性别和方言变体的注释，并讨论了语料库的数据集合和标注方法，以及为阿拉伯语开发作者分析工具和 NLP 工具提供帮助的重要性。
发现论文，激发创造
  • ArSentD-LEV：基于目标词的阿拉伯黎凡特推文情感分析的多主题语料库

    本研究介绍了一个阿拉伯方言情感数据集（ArSenTD-LEV），包含 4,000 条推文，并提供了整体情感、情感表达方式、情感表达目标和推文主题等注释，研究结果表明这些注释可以提高基线情感分类器的性能，也确认了训练与测试领域不匹配的差距。

    May, 2019

  • 朝着更好的包容性：一种多样化的英语方言推文语料库

    通过采集和分析社交媒体上的英语变种示例，我们旨在解决自然语言处理中的偏见问题。我们将建立一个来自使用非标准英语变种的国家的推文数据集，并提出一个标注框架，通过度量标准英语的程度间接揭示这些推文中英语变种的表现。我们的语料库突出了在西方英语和非西方（即较不标准）英语变种之间的预训练语言识别器准确性差异，并希望为识别和减少自然语言处理中的隐含人口统计差异做出贡献。

    Jan, 2024

  • 野外阿拉伯方言识别

    用 QADI 建立了一个包含来自 18 个阿拉伯国家范围内不同方言的推特的数据集，并使用多个筛选器识别用户并准确识别方言，这个数据集可用于对不同阿拉伯国家范围内方言的鉴别研究。

    May, 2020

  • 推特上的阿拉伯攻击性言论：分析与实验

    本论文介绍了一种构建阿拉伯语攻击性社交媒体贴文数据集的方法，分析了导致攻击性社交媒体贴文的因素和阿拉伯语使用攻击性语言的方式，并采用先进技术在该数据集上取得了 F1=83.2 的优秀结果。

    Apr, 2020

  • ArCorona：分析新冠肺炎疫情早期的阿拉伯语推文

    为了更好地了解公众行为、兴趣话题、政府要求、推特来源等等，并防止有关病毒或不良治疗方法的谣言和误报的传播，在研究中，我们提供了一个人工标注的阿拉伯语推特最大数据集，描述了其注释指南、分析了数据集并构建了有效的机器学习和 Transformer 模型以进行分类。

    Dec, 2020

  • 映射语言：全球语言使用语料库

    本文描述了一个基于互联网语言使用的语料库，重点介绍如何利用这个语料库进行数据驱动的语言映射；通过提供有关全球语言使用的信息来支持本地化语种，并且通过对比人口统计学数据和 Twitter 数据来分析数字语言数据代表实际人口的程度。

    Apr, 2020

  • ArabGend：基于阿拉伯语推特的性别分析与推断

    本研究旨在探究阿拉伯语 Twitter 上男女用户在参与度、兴趣点、职业领域等方面的差异，并通过用户名、头像、推文及好友网络等方式进行性别推断，达到了 82.1% 的 F1 分数，同时也开发了一个可公开使用的演示版。

    Mar, 2022

  • 为国家级方言识别创建的多方言阿拉伯 BERT

    本文介绍了 Mawdoo3 AI 团队开发的预训练 BERT 模型的表现，以及该模型在 Nuanced Arabic Dialect Identification（NADI）共享任务的子任务 1 中获胜的过程和方法，并公开了 Multi-dialect-Arabic-BERT 模型的预训练语言模型组件，供其他研究人员使用。

    Jul, 2020

  • 用于评估仇恨言论识别中人口统计偏见的多语 Twitter 语料库和基准

    本研究到了关于文档分类模型公平性评估的现有研究，主要使用无作者人口属性基准事实的合成单语言数据。在该工作中，作者们汇编并发布了一个多语言 Twitter 语料库，用于推断作者的四个人口属性：年龄，国家，性别和种族 / 民族。该语料库涵盖了五种语言：英语、意大利语、波兰语、葡萄牙语和西班牙语。我们使用 Figure Eight 的众包平台评估了推断出的人口属性标签的准确性。为了检查可能引起偏见的因素，我们对英语语料库进行了人口预测的实证分析。我们评估了四种流行文档分类器的性能，并评估了基准分类器在作者级人口属性上的公平性和偏见。

    Feb, 2020

  • 基于 Twitter 的众包方言表征

    使用地理标记微博数据集对西班牙语言的地区变体进行了大规模分析，发现该语言分为两个超级方言，包括城市语言和更具区域特色的农村和小城镇语言的不同形式。

    Jul, 2014