Oct, 2023

利用预训练语言模型进行低资源摘要

PDF
TL;DR利用自注意力变换器模型（mBERT, mT5）以及构建新的基准数据集（76.5k 的文章摘要对），在资源有限的语言乌尔都语中，提出了一个自适应低资源摘要方法，能够有效地捕捉低资源语言的上下文信息并取得与英文高资源语言中最先进模型相媲美的评估结果。
deep learningnatural language processinglow-resource languagesself-attentive transformer-based modelsurdu
发现论文，激发创造
  • 使用多语言变压器模型对印度语言进行摘要

    本研究采用 IndicBART 和 mT5 模型，研究它们在印度语言数据集上的摘要性能，结果以 ROUGE-1、ROUGE-2、ROUGE-3 和 ROUGE-4 分数为性能指标。

    Mar, 2023

  • 使用预训练语言模型在低资源环境下进行长文档摘要

    本文探讨如何在低资源情况下，使用深度神经网络等技术进行长篇法律文件的自动摘要，本文提出了一种基于 GPT-2 的算法，基于语言模型的困惑度，识别出最具有表现力的句子，在提取摘要时提供有效支持，并且该方法胜过了全球其他对手的显著度检测基线。

    Mar, 2021

  • 低资源抽象化摘要元转移学习

    本文提出了一种方法，利用大型预训练模型和多样的现有语料库，解决低资源抽象摘要化问题，在各种写作风格和形式的摘要语料库上实验证明，我们的方法仅使用 0.7％的可训练参数与以前的工作相比，在低资源情况下实现了 6 个语料库的最新技术水平。

    Feb, 2021

  • 应用基于深度学习的方法实现印度语言文章摘要

    本文介绍了使用不同的预训练 seq2seq 模型在 ILSUM 2022 数据集上微调的结果，其中使用 PEGASUS 模型得到了最佳的英文结果，使用具有增强数据的 IndicBART 模型得到了最佳的印地语结果，并使用转换映射为基础的方法对瓜拉提语进行了微调并重新运行了 PEGASUS 模型，使用 ROUGE-1、ROUGE-2 和 ROUGE-4 作为评估度量方法进行了推理成果的评估。

    Dec, 2022

  • 增强低资源语言的神经机器翻译：语料库开发、人工评估和可解释 AI 架构

    该研究旨在研究机器翻译中 Transformer 模型在低资源语言对（英爱尔兰语和英马拉地语）中的效果，并通过优化超参数和子词模型类型来显著提高低资源语言对的翻译质量。此外，还引入了 adaptNMT 和 adaptMLLM 两个开源应用程序，简化了神经机器翻译模型的开发、微调和部署过程，使其更容易被开发人员和翻译人员使用。

    Mar, 2024

  • 低资源语言的神经机器翻译

    该研究探索了低资源语言领域的神经机器翻译以及如何通过 NLP 和深度学习技术对语言模型进行改进

    Apr, 2023

  • 使用一致性正则化的半监督神经机器翻译技术 —— 面向低资源语言

    本文介绍一种半监督的方法来解决低资源语言机器翻译的问题，通过增强高质量的句子对和使用基于 SentenceBERT 的过滤器来提高数据质量，将交叉熵损失和 KL 散度相结合，特别是通过伪目标句子实现无监督训练，实验证明该方法可以显著提高 NMT 基线性能

    Apr, 2023

  • 低资源语言建模中上下文的重要性

    研究了低资源语言模型预训练，当可用的句子少于 100,000 条时。在低资源情况下，统计 n-gram 语言模型优于最先进的神经模型，主要是因为前者专注于局部上下文。因此，引入了三种方法来提高神经模型在低资源环境下的性能，发现限制模型的自我注意力是最有效的方法，在英语、印地语和土耳其语等多种语言的下游任务中，NLI 和 POS 标记的准确性提高了高达 5%。

    May, 2022

  • 为低资源神经机器翻译优化 Transformer

    本文研究了神经机器翻译中低资源语种的问题，通过在 IWSLT14 数据集上的实验发现，在优化超参数设置的情况下，Transformer 模型在低资源情况下的翻译质量可以提高 7.3 个 BLEU 分数。

    Nov, 2020

  • XWikiGen：低资源语言百科文本生成的跨语言摘要

    本研究针对缺乏百科全书文本贡献者的问题，提出了一种基于多语言参考文章的跨语言多文档摘要生成任务，同时建立了一个基准数据集，并提出了一种基于神经网络的有监督和无监督摘要生成系统，实验表明多领域的训练要优于多语言的设置。

    Mar, 2023