Feb, 2022

加泰罗尼亚文的序列到序列资源

PDF
TL;DR本文介绍了针对加泰罗尼亚语这种中等资源语言的序列到序列（sequence-to-sequence）语言资源，旨在实现新闻摘要和机器翻译（MT）两个任务。我们在新闻领域中介绍了两个新的抽象摘要数据集，并引入了一组新的加泰罗尼亚 - 英文平行语料库及三个不同的测试集。最后，我们评估了这些数据与最先进的模型的竞争情况，并使用新创建的加泰罗尼亚 BART 为这些任务开发了基线。我们以开放许可发布了这项工作的结果，以鼓励在加泰罗尼亚语的语言技术开发方面的进一步发展。
发现论文，激发创造
  • 基于序列的多语言低资源语音识别

    研究多语言和跨语言语音识别技术，通过使用基于序列的端到端方法，提高系统性能，并可跨语言适应新的语言和领域。

    Feb, 2018

  • 多语种模型是否是中度资源语言的最佳选择？以加泰罗尼亚语为例的全面评估

    本研究集中关注在 Catalan 语言，通过构建一个中等大小的单语言模型并进行完整的评估，成功地通过多样的任务比较，充分证明了其优越性，从而证实了在数据充足的情况下，单语言特定模型的效果能够超越多语言模型。

    Jul, 2021

  • 序列到序列的西班牙语预训练语言模型

    本文介绍了在西班牙语语料库上预训练的著名编码器 - 解码器架构 ——BART、T5 和 BERT2BERT 风格模型。通过对各种序列到序列任务（包括摘要、改写和生成式问答）的综合评估，我们发现所有模型的性能竞争力，其中 BART 和 T5 在所有评估任务中表现最好。此外，我们还将所有模型公开提供给研究社区，促进西班牙语语言处理领域的未来探索和发展。

    Sep, 2023

  • 不再是低资源：对齐器集成、批处理过滤和新的孟加拉 - 英语机器翻译数据集

    本研究利用自定义句子分段器和两种新方法，构建一个高质量的孟加拉语 - 英语双语平行语料库，从而提高孟加拉语机器翻译的 BLEU 指标，并评估了一个包含 1000 个双语句对的测试集，释放了分段器，平行语料库和评估集，为孟加拉语以及其他低资源语言的机器翻译研究铺平了道路。

    Sep, 2020

  • 预训练的多语言序列到序列模型：底资源语言翻译的希望？

    通过在 10 种语言上进行完备实验，考虑了五个因素：（1）微调数据量，（2）微调数据中的噪声，（3）模型预训练数据量，（4）领域不匹配的影响以及（5）语言类型学，我们试图确定预训练多语言序列到序列模型（如 mBART）对翻译低资源语言有何贡献，并提出了许多启发式方法。实验结果显示，mBART 对领域差异具有鲁棒性，但对未知和语言类型学差异较大的语言的翻译仍低于 3.0 BLEU。因此，我们鼓励将重点从新模型转向新数据。

    Mar, 2022

  • 利用可比语料库诱导的双语词典进行低资源语言的神经机器翻译

    本文使用端到端的 Siamese 双向递归神经网络从 Wikipedia 的可比较多语言文章中提取并生成平行句子，证明使用所收集的数据集可以提高低资源语言对 (英―印度语和英―泰米尔语) 上的 BLEU 分数。

    Jun, 2018

  • 跨语言摘要模型与数据集

    本文介绍了使用跨语言文献和维基百科创建的跨语言摘要语料库，在多种语言和方向上建立了多句子摘要数据。作者使用自动指标并进行人类研究，验证了所提出的跨语言摘要任务。最后，作者还用该数据集和多语言预训练模型进行了大量的实验证明其实用性。

    Feb, 2022

  • 基于内容本地化的神经机器翻译系统：非正式方言阿拉伯语：西班牙语 / 法语到黎凡特 / 海湾阿拉伯语

    通过利用人工智能的力量，我们提出了一个框架，将高资源语言的内容本土化到低资源的语言 / 方言，以丰富资源不足的阿拉伯方言并加快地跨智能城市之间的多样的在线社交行为研究。同时，我们的实验结果证明了我们提出的解决方案在高低资源语言和方言之间的资源利用能力，以及忽视相同语言内的方言可能导致对在线社交行为的误导分析。

    Dec, 2023

  • 多语言序列到序列语音识别：架构，转移学习和语言建模

    本文提出使用多语言数据建立先前模型，结合迁移学习的方法，通过在 10 个 BABEL 语言中训练 seq2seq 模型来改进音频识别，同时在解码时加入循环神经网络语言模型 (RNNLM) 来进一步提高模型的表现，实验结果表明，将先前的多语言模型应用于 4 种其他 BABEL 语言可以有效提高识别的准确度，并且加入 RNNLM 辅助也可以带来显著的性能提升。

    Oct, 2018

  • 面向资源匮乏语言的跨语言任务特定表示学习用于文本分类

    使用双向 LSTM 网络与相似度度量的对比损失函数，通过在共同空间中学习资源贫乏和资源丰富句子的表示方法，实现了情感分析和表情符预测等文本分类任务中对资源贫乏语言（如印地语和泰卢固语）和资源丰富语言（如英语和西班牙语）进行有效分类的目标。

    Jun, 2018