EMNLPOct, 2023

BasahaCorpus：用于中部菲律宾语言易读性评估的扩展语言资源

PDF
TL;DR在菲律宾的低资源语言中，为了扩大可用的语料库和可读性评估的基线模型，我们介绍和发布了 BasahaCorpus，编制了一组用于训练表层特征、音节模式和 n-gram 重叠特征的 ARA 模型的短篇虚构故事的语料库，还提出了一种新的层次化跨语言建模方法，利用语言在语系树种的位置来增加可用的训练数据。我们的研究取得了令人鼓舞的结果，支持先前工作展示了跨语言模型在低资源环境中的有效性，以及相互可理解语言的高信息语言特征的相似性。
automatic readability assessmentbasahacorpuslower resource languagesara modelshierarchical cross-lingual modeling approach
发现论文，激发创造
  • 紧密相关语言的自动可读性评估

    本文提出使用交叉语言相似性和新特征 CrossNGO，探索手工特性与机器学习模型相交互的自动易读性评估方法，以改善低资源语言的精度。在使用菲律宾三种语言的短篇小说训练模型的过程中发现，使用新特征 CrossNGO 可显著提高交叉语言易读性模型的性能，其中结合语言表示的使用可出现各自语言的最佳结果。

    May, 2023

  • Cebuano 的基础易读性模型

    本论文针对菲律宾第二大母语 —— 宿务语，开发了首个基线可读性模型；本文提取了传统或基于表面的特征、基于 Cebuano 拼字书写的音节模式以及多语言 BERT 模型的神经嵌入。结果显示，使用前两个手工语言特征的随机森林模型训练表现最佳，并且使用的特征集和算法类似于以前为菲律宾语可读性评估所获得的结果，表明具有跨语言应用的潜力；为了鼓励在菲律宾诸如宿务语等语言的可读性评估方面进行更多工作，我们公开了代码和数据。

    Mar, 2022

  • 构建和扩展印尼本地语言的低资源和代表性平行数据集

    介绍了 Bhinneka Korpus 这一多语种并行语料库，以增强印度尼西亚当地语言资源的获取和利用，并通过 IBM 模型 1 实验表明该语料库在进一步发展低资源语言的高级 NLP 技术和多语种翻译模型方面显示出良好的性能。

    Apr, 2024

  • NusaWrites：为代表性和极度资源匮乏的语言构建高质量语料库

    对印尼本土语言进行案例研究的结果表明，原生说话者通过段落撰写所生成的数据集在词汇多样性和文化内容方面优质，有助于推广自然语言处理技术到较少研究的语言领域。

    Sep, 2023

  • 在资源匮乏的语言中建立文本分类基线

    本文旨在解决低资源语言菲律宾文的文本分类问题，并提供了两个以往未发布的数据集作为基准，使用预训练的 BERT 和 DistilBERT 模型并引入一个简单的性能衰减测试，以评估模型在不同训练集数量下的表现降低速度，并释放所有模型和数据集供研究社区使用。

    May, 2020

  • 德语自动易读性评估和文本简化语料库

    该研究提供了一个从网络资源中编制而来的德语语料库，可用于自动易读性评估和自动文本简化，并包含文字结构、排版和图片信息，可以作为机器学习方法中易读性评估和文本简化的一部分。本研究重点关注将此信息作为现有语料库标准的扩展。

    Sep, 2019

  • BHASA: 东南亚语言文化综合评估系统

    在东南亚语言方面，BHASA 提供了一个综合的语言和文化评估套件，其中包括自然语言理解、生成和推理等任务的 NLP 基准、语言诊断工具包 LINDSEA 以及文化诊断数据集，初步实验发现 GPT-4 在东南亚语言方面的语言能力、文化表达和敏感性等方面存在不足，BHASA 将在未来继续改进和扩展。

    Sep, 2023

  • SAHAAYAK 2023 - 梵文到印地语的多领域双语平行语料库，用于机器翻译

    本文介绍了一个名为 SAHAAYAK 2023 的低资源语言 Sanskrit-Hindi 的大型双语平行语料库，包括新闻，日常对话，政治，历史，体育和古印度文学的多个领域，以及通过挖掘，清洗和验证而得到的多方面的方法制作的一个规模可观的多领域语料库，并应用于机器翻译算法。

    Jun, 2023

  • 一个神经网络对比排序模型用于阅读可读性评估

    本文提出了第一个基于神经网络的排名方法来评估文本的自动易读性。我们将其与现有的分类，回归和排名方法进行了比较，并用五个数据集进行了实验，证明我们的方法适用于单语和跨语料测试，实现了针对英文数据训练的跨语易读度评估的零 - shot 学习，同时提供了英语和法语的新双语易读度数据集。

    Mar, 2022

  • 自然故事语料库

    为了比较人类语言处理模型，许多研究使用富自然语言材料的语料库来预测参与者反应，但这些研究所使用的许多语料库是基于自然文本的，因此缺少许多频率低的句法结构，而这些句法结构是区分处理理论所必需的。本文提出一种新的语料库，包含许多低频句法结构且易于被母语人士理解，该语料库已标注手动修正的语法树，并包括了自定速度阅读时间的数据。

    Aug, 2017