Aug, 2022

法国方言的数据收集与分析

PDF
TL;DR本文探讨了创建和分析用于数据挖掘和文本分析研究的新数据集，为利兹大学国家方言语料库的联合研究项目做出了贡献。研究使用机器学习分类器对各个法语国家的法语方言文本样本进行分类，并遵循 CRISP-DM 方法论的步骤对数据进行了采集、质量问题和文本分析数据转换的探索。最后，在应用适当的数据挖掘技术后，讨论了评估方法、最佳特征和分类器以及结论。
data miningtext analyticsmachine learningfrench dialectdataset
发现论文，激发创造
  • 摩洛哥方言文本情感分类的实验研究

    本文目的在于通过情感分析依据机器学习模型对 YouTube 摩洛哥方言评论进行分类研究，在采用多种文本预处理和数据表现技术的前提下，证明深度学习模型胜于传统模型，我们达到了 90% 的准确性。

    Mar, 2023

  • 量化方言差异及其与语言之间的关联

    本文通过全面评估最有影响力的最新大型语言模型（LLMs）在机器翻译和自动语音识别两个高使用频率应用领域上的功能，对多个高和低资源语言的地区方言进行了功能评估，并分析了地方方言差距与经济、社会和语言因素的相关性，从而为方言 NLP 领域的发展奠定基础，并通过有意识的数据收集，揭示明显的差异并寻找可能的解决途径。

    Oct, 2023

  • FreCDo：用于法语跨领域方言识别的大型语料库

    本文介绍一个收集于比利时、加拿大、法国和瑞士的公共新闻网站上的包含 413,522 个法语文本样本的新颖语料库。该文章通过对不同的新闻网站检索不同的关键词，消除了主题、写作风格和发布来源等潜在偏见，从而建立了一个法语跨领域方言识别任务；作者也通过四个竞争基线、基于微调的 CamemBERT 模型、基于微调 CamemBERT 特征的 XGBoost、基于微调 CamemBERT 特征的 SVM 分类器和基于单词 n-grams 的 SVM 进行了实验；最后，作者还分析了 CamemBERT 学到的最有区分度的特征。

    Dec, 2022

  • 某一语言方言的自然语言处理：一项调查

    该论文调查了自然语言处理中方言的重要性，描述了不同方言数据集和方法，对方言的研究超过了仅仅方言分类的工作，对构建具有公平性的语言技术有重要意义。

    Jan, 2024

  • 基于 WEKA 的：五个国家法语的主要特征和分类器

    本研究描述了一个法语方言识别系统，可以适当地区分不同的地区法语方言。通过使用 Sketch Engine 构建包含摩纳哥、法语使用的比利时、法语使用的瑞士、法语使用的加拿大和法国等五个地区的语料库。语料库内容涵盖与生活密切相关的吃、喝、睡觉和生活四个主题。然后通过 python 编码的预处理器和 Waikato Environment for Knowledge Analysis (WEKA) 数据分析工具（其中包含许多用于机器学习的过滤器和分类器）进行了实验结果。

    Nov, 2022

  • PIAF 项目：构建一个本地的法语问答数据集

    为解决下游任务比如问答系统中的非英语数据匮乏问题，我们发起了一个众包项目收集并发布了一个法语问答数据集，提供了我们的数据注释工具以及初步的基准结果。

    Jul, 2020

  • 克莱尔法语对话数据集

    Claire French Dialogue Dataset (CFDD) is a multilingual, open source corpus of roughly 160 million words from transcripts and stage plays in French, created to further the development of language models, with descriptions of its composition, subcorpora breakdown, and standardization process.

    Nov, 2023

  • 传统多语种情感分析模型中法英语言偏见分析

    通过 SVM 和 Naive Bayes 模型，该研究在统计加拿大关于 “双语自然语言处理中的偏见考虑” 的报告的启发下，探讨了英法多语情感分析中可能存在的偏见问题。通过使用三个平衡数据集进行实验，发现情感分类存在潜在的多语言偏见。实验结果表明，SVM 方法在三个数据集上表现出接近公平水平，而 Naive Bayes 方法则存在更大的差异。这些发现揭示了开发公平的多语言自然语言处理系统的重要性，特别是随着未来更多语言数据集的纳入。

    May, 2024

  • 地理和背景多样化数据源文献：BigScience 语言数据和资源目录

    本研究介绍了一个大型数据收集项目的方法论，强调了文档记录和以人为中心的方法，通过在线目录和公共黑客马拉松活动进行元数据的收集，以解决大型语言模型数据收集面临的难题，研究结果分析了所得到的资源元数据分布情况，并总结了在此项目中的经验教训。

    Jan, 2022

  • 跨语言再演绎的对话

    报告介绍了一种协议以收集跨语言韵律映射和其他改善语音翻译的方法，包括收集语言之间紧密匹配的话语对的、数据收集的描述，以及一些相关的观察和思考。此报告面向使用语料库，扩展语料库和设计类似的双语对话数据收集的人。

    Nov, 2022