COLINGOct, 2022

在 Twitter 上标注挪威语言各个方言的词性

PDF
TL;DR本研究提供了新的标注有词性标签的挪威推特数据集，研究了对该数据集进行自然语言处理的挑战性，比较了不同模型对该数据集的表现，并分析了模型常见错误。
natural language processingnorwegian twitter datasetpos-tagsuniversal dependency datadialectal tweets
发现论文，激发创造
  • 在 Tweebank 语料库上进行命名实体识别注释，并建立用于社交媒体分析的 NLP 模型

    本研究旨在创建 Tweebank-NER，一个基于 Tweebank V2 的英文 NER 语料库，用 TB2 训练最先进的 Tweet NLP 模型，并发布名为 Twitter-Stanza 的 NLP 管道。

    Jan, 2022

  • 提升挪威语自动语音识别

    本文介绍了自然语言处理中自动语音识别的基准线模型在 Bokmål 和 Nynorsk 上的表现，其中最优模型使得 Norwegian Parliamentary Speech Corpus 的词错误率降至 7.6％，并探讨了提高挪威语 ASR 模型的挑战和解决方案。

    Jul, 2023

  • SMPOST: 用于代码混合的印度社交媒体文本的词性标注器

    研究社交媒体上社会语言的使用及其对自然语言处理的影响，参考三种不同语言对的社交媒体数据，通过条件随机场分类器开发出一个基于富有语言特征的词性标注系统。

    Feb, 2017

  • NaijaSenti: 面向多语种情感分析的尼日利亚推特情感语料库

    介绍了首个针对尼日利亚四种最常用语言（豪萨语、伊博语、尼日利亚皮钦语、约鲁巴语）的大规模人工标注推特情感数据集，并对收集、处理和标注的方法进行了说明。同时对预训练模型和迁移策略进行了评估，并发布数据集、训练模型、情感词典和代码以促进对低资源语言情感分析的研究。

    Jan, 2022

  • 将推文解析为通用依存关系

    本文介绍了用 Universal Dependencies 分析 Tweets 的问题，提出了扩展 UD 指南来覆盖 Tweets 中的特殊结构以及使用新的 Tweet Treebank v2 来解决标注中的歧义，并构建了一个可以将原始 Tweets 解析为 UD 的流水线系统。此外，作者还提出了一种新的方法来精简基于转换的解析器的集合，并在真实情况下验证了该方法的有效性。

    Apr, 2018

  • 社交媒体中的风格变化词性标注

    本文研究探讨了社交网络和在线寫作间的語言和语言格式之间的关联性，以及如何从社交网络平台中建立一种专家混合模型来增强语言变异性的鲁棒性。

    Apr, 2018

  • 面向挪威语的细粒度情感数据集

    介绍 NoReC_fine 数据集，用于对来自多个门类、包括文学、游戏、音乐、产品、电影等专业评论的文本进行精细情感分析，同时注释了极性表达、情感对象和持有者。 详细描述注释过程和开发的标注指南，提供了互注者一致性分析、实验结果，并且打算作为进一步实验的初步基准。

    Nov, 2019

  • 朝着更好的包容性：一种多样化的英语方言推文语料库

    通过采集和分析社交媒体上的英语变种示例，我们旨在解决自然语言处理中的偏见问题。我们将建立一个来自使用非标准英语变种的国家的推文数据集，并提出一个标注框架，通过度量标准英语的程度间接揭示这些推文中英语变种的表现。我们的语料库突出了在西方英语和非西方（即较不标准）英语变种之间的预训练语言识别器准确性差异，并希望为识别和减少自然语言处理中的隐含人口统计差异做出贡献。

    Jan, 2024

  • 挪威语大规模上下文语言建模

    本文介绍了 NorLM 计划，旨在支持创建和使用极大的上下文化语言模型来支持挪威语（以及原则上其他北欧语言）的研究与应用，该计划提供了一个可用的软件环境和数据集，同时也提供了一份学习的经验报告。文章介绍了基于 ELMo 和 BERT 框架的挪威语大规模单语言模型的训练过程，并提供了一套 NLP 任务的对比基准结果。

    Apr, 2021

  • Twitter 上的命名实体识别：短期时间漂移的数据集和分析

    本研究旨在探索利用预训练模型进行 Twitter 命名实体识别的问题，构建了一个包含七个实体类型的数据集 TweetNER7，并提供了一组语言模型基线。通过分析不同时期对语言模型性能的影响，尤其是短期降级、基于不同时间段进行语言模型微调的策略和自我标记作为最近标记数据的替代方案。

    Oct, 2022