Jan, 2024

使用 PT-Pump-Up 进行葡萄牙语 NLP 资源索引

PDF
TL;DR提出了 PT-Pump-Up，一套旨在减少资源分散并改善对葡萄牙语自然语言处理资源的可访问性的工具。该提案包括四个软件组件：a) 用于列出可用资源的网页平台；b) 用于简化加载葡萄牙语自然语言处理资源的客户端 Python 包；c) 用于管理平台的管理 Python 包；d) 用于促进未来合作和贡献的公共 GitHub 存储库。四个组件可以通过此 https URL 进行访问。
natural language processingnlptraining processesresource dispersionportuguese nlp resources
发现论文，激发创造
  • 金融服务的葡萄牙常见问题

    利用数据增强技术生成合成数据以解决葡萄牙金融领域中领域特定数据稀缺的问题，并使用不同语义相似性的技术对从巴西中央银行 FAQ 获取的数据集进行增强，通过有监督和无监督任务评估增强数据对低语义相似性和高语义相似性情况的影响。此外，生成的数据集将在 Hugging Face 数据集平台上公开传播，从而提高可访问性并促进自然语言处理研究社区的更广泛参与。

    Nov, 2023

  • 葡萄牙自然语言处理模型训练的法律框架

    通过引入大量人类语言文本数据，利用深度学习等技术发展的应用程序与人工智能之间的法律的研究与合规问题。

    May, 2024

  • NusaWrites：为代表性和极度资源匮乏的语言构建高质量语料库

    对印尼本土语言进行案例研究的结果表明，原生说话者通过段落撰写所生成的数据集在词汇多样性和文化内容方面优质，有助于推广自然语言处理技术到较少研究的语言领域。

    Sep, 2023

  • PORTULAN ExtraGLUE 数据集和模型：启动葡萄牙语神经处理基准测试

    借助对葡萄牙语神经模型的研究，我们提供了一套用于多种语言处理任务的数据集合，以及针对这些下游任务进行细调的神经语言模型集合。通过使用最先进的翻译引擎将数据集从英语机器翻译成葡萄牙语，以与文献中的主流基准相结合，启动了葡萄牙语的对应数据集。由此产生的 PORTULAN ExtraGLUE 基准是未来葡萄牙语研究的基础，可以在后续工作中进行改进。类似地，我们使用低秩适应方法开发的相应细调神经语言模型作为基准可促进葡萄牙语神经处理的未来工作。所有数据集和模型都已开发并可用于葡萄牙语的两个变体：欧洲葡萄牙语和巴西葡萄牙语。

    Apr, 2024

  • 日耳曼语系低资源语言和方言语料库调查

    这篇论文对德国 ic 低资源语言变体的可用语料库进行了系统性调查，发现手工注释的语言资源稀缺，大多数仅涵盖形态和句法，但活跃的研究社区正在不断发展。作者还特意分享了超过 80 个语料库的大概率浏览与查看。

    Apr, 2023

  • TutorialBank：一个人工收集的语料库，用于先决条件链、调查提取和资源推荐

    TutorialBank 是一个新的、公开可用的数据集，旨在促进 NLP 教育和研究。该数据集手动收集和分类了超过 6300 个 NLP 以及相关领域的资源，是目前最大的人工选取的旨在用于 NLP 教育的资源语料库之一，而且还创建了搜索引擎和命令行工具，为这些资源进行了注释。

    May, 2018

  • 跨语言数据集构建与必要资源的综述

    该研究旨在量化语言资源之间的不平等性，并提出一些方法来改善低资源语言的数据收集，以促进未来的多语言数据发展。

    Nov, 2022

  • EasyNLP：一款全面且易于使用的自然语言处理工具包

    EasyNLP 是一个支持大规模预训练模型的统一框架，支持多种 NLP 算法，并在阿里巴巴集团的多个业务单元中得到了成功应用和集成。

    Apr, 2022

  • 机器翻译中印度语言的低资源状态再探讨

    本文提供并分析了一个用于印度语神经机器翻译系统的大规模多语言句子对齐语料库和强大基准的自动化框架，其中包括基线 NMT 系统，检索模块和用于公共网站的对齐模块，通过迭代增加语料库来改进系统。我们的工作还评估了设计选择，例如枢轴语言的选择和迭代式增量语料库增加的影响。与现有的印度语语料库相比，本工作不仅提供了自动化框架，还产生了一个相对较大的语料库。这个语料库使我们能够在公开的 WAT 评估基准和其他标准评估基准上获得明显改善的结果。

    Aug, 2020

  • 低资源语言：现有工作回顾与未来挑战

    本文回顾了 NLP 领域中解决低资源语言问题的先前重要进展，并分析了未来研究方向中的潜在改进。

    Jun, 2020