Mar, 2022

AraBART：用于抽象化摘要的预训练阿拉伯语序列到序列模型

PDF
TL;DR本文介绍了 AraBART，这是第一个使用 BART 预训练技术进行端到端预训练的阿拉伯语模型，通过在多个抽象摘要数据集上的测试，显示 AraBART 在摘要生成方面具有较好的性能，超过了类似的基线模型。
transformer-based modelssummarizationarabic languagepretrained end-to-end modelsabstractive summarization
发现论文，激发创造
  • 教育中的 Transformer 模型：用 AraBART、MT5、AraT5 和 mBART 概括科学教材

    基于现代自然语言处理模型，该研究提出了一种针对阿拉伯文教科书的文本摘要系统，通过评估和提取巴勒斯坦课程中 11 年级和 12 年级生物教科书中最重要的句子，为学生和教师提供了准确有用的摘要，旨在解决阿拉伯文文本摘要的需求，并丰富了该领域的研究与发展。

    Jun, 2024

  • AraBERT：基于 Transformer 的阿拉伯语语言理解模型

    使用语言特定的 BERT 模型预训练，构建了 AraBERT 模型，以在阿拉伯语 NLP 任务方面实现最先进的表现。

    Feb, 2020

  • GreekBART：第一个预训练的希腊序列到序列模型

    本篇论文介绍了 GreekBART，这是第一个基于 BART-base 架构的 Seq2Seq 模型，经过大规模希腊语语料库的预训练。我们评估并比较了 GreekBART 与 BART-random、Greek-BERT 和 XLM-R 在各种区分性任务上的表现，并研究了其在两个来自 GreekSUM 的 Greek 语言生成任务中的性能。模型、代码和数据集将公开提供。

    Apr, 2023

  • 阿拉伯文本摘要的 BERT 微调

    本文介绍了一种使用 fine-tuning 方法构建阿拉伯语文本摘要模型的方法，并且展示了该模型在抽取式和文本生成式摘要任务中的性能，同时还展示了该模型在多语种语料库上的性能表现。

    Mar, 2020

  • AraLegal-BERT：针对阿拉伯语法律文本的预训练语言模型

    本文介紹了 AraLegal-BERT 模型，評估其對於阿拉伯法律文件的表現。結果證明該模型在自然語言理解 (NLU) 任務上比一般的 BERT 及原始版本表現更為準確。

    Oct, 2022

  • ArTST：阿拉伯文本和语音转换器

    我们提供了 ArTST，这是一个预先训练的阿拉伯文本和语音转换器，支持用于阿拉伯语言的开源语音技术。该模型的架构遵循最近发布的英语统一模态框架 SpeechT5，并且专注于现代标准阿拉伯语（MSA），未来版本计划将该模型扩展为方言和混合阿拉伯语。我们从头开始对 MSA 语音和文本数据进行了预训练，并对以下任务进行了微调：自动语音识别（ASR），文本到语音合成（TTS）和口语方言识别。在与 SpeechT5 以及先前报告的结果在这些任务中的比较实验中，ArTST 在所有三个任务中表现与或超过当前最先进技术水平。此外，我们发现我们的预训练有利于泛化，尤其在资源匮乏的 TTS 任务中表现明显。预训练模型以及微调后的 ASR 和 TTS 模型已发布供研究使用。

    Oct, 2023

  • AraPoemBERT：用于阿拉伯诗歌分析的预训练语言模型

    介绍了 AraPoemBERT，这是一个在阿拉伯诗歌文本上进行预训练的阿拉伯语言模型，通过在多个与阿拉伯诗歌相关的 NLP 任务上展示其有效性，该模型在大多数下游任务中表现出色，取得了最新成果的结果。

    Mar, 2024

  • BART：自然语言生成、翻译和理解的去噪序列到序列预训练

    BART 是一种预训练序列到序列模型的去噪自编码器，通过使用 Transformer 架构，并使用一些创新方法，如随机调换原始数据序列的顺序和填充原始数据中的实体，使得 BART 在文本生成、理解任务以及抽象对话等方面性能表现出色，超越了 RoBERTa，并提供了 1.1 个 BLEU 的机器翻译增量。

    Oct, 2019

  • VBART：土耳其 LLM

    我们提出了 VBART，这是第一个基于大型语料库从头开始预训练的土耳其序列到序列大型语言模型。VBART 是基于 BART 和 mBART 模型的好主意的紧凑型语言模型，有两个不同尺寸的模型：大型和超大型。精调的 VBART 模型在抽象文本摘要、标题生成、文本改写、问答和问题生成任务中超过了之前的最先进结果。它们允许对未来的文本生成任务和数据集进行精调，为土耳其自然语言处理研究开辟了新的道路。我们的工作表明，对于土耳其语言模型的预训练比多语言模型提高了多达 3 倍，改进了现有结果，并为训练和推理提供了高效的模型。此外，我们展示了我们的单语 tokenizer 比 OpenAI 的多语 tokenizer 高效 7 倍。最后，我们介绍了一种扩大现有预训练语言模型的方法，并质疑了 Chinchilla Scaling Law 在序列到序列屏蔽语言模型中的相关性。我们的精调模型、tokenizer 和清理后的 135 GB 网络语料库都可以在 huggingface.co/vngrs-ai 公开获取。

    Mar, 2024

  • IndicBART：用于 Indic 自然语言生成的预训练模型

    本文探讨了预训练的序列到序列模型在相关语言群中的应用，关注印欧语言。我们介绍了 IndicBART - 一种针对 11 种印欧语言和英语的多语言序列到序列预训练模型。通过利用印欧语言之间的拼写相似性，IndicBART 在类似印欧语言之间进行转移学习，获得了不错的性能表现。研究表明，即使相对较小的 IndicBART 模型在机器翻译和极端摘要等任务上也具有与大型预训练模型相媲美的性能，甚至在很低资源的情况下依然表现优异。模型参数共享，多语言训练等技术有助于提高 IndicBART 模型的性能水平。

    Sep, 2021