Jun, 2024

教育中的 Transformer 模型：用 AraBART、MT5、AraT5 和 mBART 概括科学教材

PDF
TL;DR基于现代自然语言处理模型，该研究提出了一种针对阿拉伯文教科书的文本摘要系统，通过评估和提取巴勒斯坦课程中 11 年级和 12 年级生物教科书中最重要的句子，为学生和教师提供了准确有用的摘要，旨在解决阿拉伯文文本摘要的需求，并丰富了该领域的研究与发展。
text summarizationarabic textbooksnatural language processingrouge metricarabic language
发现论文，激发创造
  • AraBART：用于抽象化摘要的预训练阿拉伯语序列到序列模型

    本文介绍了 AraBART，这是第一个使用 BART 预训练技术进行端到端预训练的阿拉伯语模型，通过在多个抽象摘要数据集上的测试，显示 AraBART 在摘要生成方面具有较好的性能，超过了类似的基线模型。

    Mar, 2022

  • 使用多语言变压器模型对印度语言进行摘要

    本研究采用 IndicBART 和 mT5 模型，研究它们在印度语言数据集上的摘要性能，结果以 ROUGE-1、ROUGE-2、ROUGE-3 和 ROUGE-4 分数为性能指标。

    Mar, 2023

  • 利用预训练语言模型进行低资源摘要

    利用自注意力变换器模型（mBERT, mT5）以及构建新的基准数据集（76.5k 的文章摘要对），在资源有限的语言乌尔都语中，提出了一个自适应低资源摘要方法，能够有效地捕捉低资源语言的上下文信息并取得与英文高资源语言中最先进模型相媲美的评估结果。

    Oct, 2023

  • 阿拉伯文本摘要的 BERT 微调

    本文介绍了一种使用 fine-tuning 方法构建阿拉伯语文本摘要模型的方法，并且展示了该模型在抽取式和文本生成式摘要任务中的性能，同时还展示了该模型在多语种语料库上的性能表现。

    Mar, 2020

  • AraT5：用于阿拉伯语言生成的文本对文本变换器

    应用多语言 T5 模型在阿拉伯语中进行了评估，针对 7 项任务进行了新颖的基准测试，并使用最新算法，为该领域提出了新型的强大模型

    Aug, 2021

  • 基于分类和生成方法的阿拉伯语句子简化

    本文尝试构建一种现代标准阿拉伯语 (MSA) 句子级简化系统，使用两种方法进行简化：基于分类的方法和生成式方法 (mT5)，并使用 BERTScore 评估了它们的有效性。

    Apr, 2022

  • AraBERT：基于 Transformer 的阿拉伯语语言理解模型

    使用语言特定的 BERT 模型预训练，构建了 AraBERT 模型，以在阿拉伯语 NLP 任务方面实现最先进的表现。

    Feb, 2020

  • 使用预训练语言模型在低资源环境下进行长文档摘要

    本文探讨如何在低资源情况下，使用深度神经网络等技术进行长篇法律文件的自动摘要，本文提出了一种基于 GPT-2 的算法，基于语言模型的困惑度，识别出最具有表现力的句子，在提取摘要时提供有效支持，并且该方法胜过了全球其他对手的显著度检测基线。

    Mar, 2021

  • 基于 Transformer 的自动文摘实现

    文章旨在利用基于 Transformer 的技术提高文章章节摘要的生成效率和质量。

    Jan, 2023

  • ArTST：阿拉伯文本和语音转换器

    我们提供了 ArTST，这是一个预先训练的阿拉伯文本和语音转换器，支持用于阿拉伯语言的开源语音技术。该模型的架构遵循最近发布的英语统一模态框架 SpeechT5，并且专注于现代标准阿拉伯语（MSA），未来版本计划将该模型扩展为方言和混合阿拉伯语。我们从头开始对 MSA 语音和文本数据进行了预训练，并对以下任务进行了微调：自动语音识别（ASR），文本到语音合成（TTS）和口语方言识别。在与 SpeechT5 以及先前报告的结果在这些任务中的比较实验中，ArTST 在所有三个任务中表现与或超过当前最先进技术水平。此外，我们发现我们的预训练有利于泛化，尤其在资源匮乏的 TTS 任务中表现明显。预训练模型以及微调后的 ASR 和 TTS 模型已发布供研究使用。

    Oct, 2023