May, 2023

一种用于阿拉伯语代词消解的序列到序列方法

PDF
TL;DR该论文提出了一种序列到序列的学习方法，探究了利用先进的自然语言处理（NLP）技术，特别是 Bi-LSTM 和 BERT 预训练语言模型，解决阿拉伯语代词消解问题的有效性。作者建议的方法在 AnATAr 数据集上进行了评估，并与包括传统机器学习模型和手工特征模型在内的数个基准模型进行了比较。实验结果表明，建议的模型在所有指标上都优于比较模型，包括 KNN、逻辑回归和 SVM。此外，作者还探究了多个对模型的修改对性能的影响，结果显示，这些修改显著提高了模型的性能，达到了 81％的 MRR 和 71％ 的 F1 得分，同时还表现出更高的精确度，召回率和准确性。该发现表明，作者建议的模型是解决阿拉伯语代词消解问题的有效方法，也展示了利用先进的 NLP 神经模型的潜在优势。
发现论文，激发创造
  • 波斯代词消解：利用神经网络和语言模型

    该研究提出了一种用于波斯语代词消解的端到端神经网络系统，利用预训练的 Transformer 模型如 ParsBERT。我们的系统同时优化了提及检测和先行链路，相比前期依赖基于规则和统计方法的最新系统，在 Mehr 语料库上实现了 3.37 F1 分数的提高。这一显著改进展示了将神经网络与语言模型结合的有效性，可能标志着波斯语代词消解领域的显著进展，并为进一步的研究铺平了道路。

    May, 2024

  • 一种混合实体中心方法用于波斯语代词消解

    本文提出了一种混合模型，通过将多个基于规则的筛子与针对代词的机器学习筛子相结合，解决了代词消解的挑战。该方法在 400 个文档的波斯语语言语料库中蕴含着出色的性能，并通过与先前模型的比较证明了其有效性。

    Nov, 2022

  • 一个排名提及模型用于抽象指代消解

    使用 LSTM-Siamese 网络提出一种提高抽象代词分析性能的注重排名的模型，通过生成人工抽象代词句子 - 先行短语对来克服缺乏训练数据的问题。在 shell 名词分辨率上，我们的模型优于最先进的结果。在包含更多名词和代词的抽象指称子集的 ARRAU 语料库中，我们发现可以优化模型的变体，但在代词指称方面仍然落后。

    Jun, 2017

  • 使用 BERT 和抽取式问答框架进行性别代词消解

    本文中，我们提出了一种通过 fine-tuned pre-trained BERT 模型并使用抽取式问答形式的代替先前的基于 coreference resolvers 的代词消歧任务，从而克服这个性别偏见问题的解决方案，该模型可以在无需先验知识的情况下，在性别平衡的数据集上取得明显的结果 (F1 值的绝对改善率达到 22.2%)，还提出了通过 ensemble 模型结合多项选择和序列分类等方法进一步提高表现 (F1 值的绝对改善率达到 23.3%)，该模型已在第一届 ACL 会议关于自然语言处理的性别偏见共享任务中获得第九名的成绩。

    Jun, 2019

  • 上下文感知的神经机器翻译学习指代消解

    我们引入了一种上下文感知的神经机器翻译模型，该模型可以控制和分析从扩展上下文到翻译模型的信息流，实验证明该模型改进了代词翻译和在指代方面进行了隐含捕获，而且不仅在指代性情况下有所改进，还提高了整体 BLEU 分数。

    May, 2018

  • MSnet: 一个基于 BERT 的用于性别代词消解的网络

    本研究提出一种基于预训练 BERT 模型的神经网络模型来解决语言处理中的性别偏见问题，该模型采用了无参数的注意力机制来计算实体跨度的语境表示，并使用向量表示代替三元语义相似度。经实验证明，该模型在性别代词分辨率任务的训练和测试集上的表现较好。

    Aug, 2019

  • AraBERT：基于 Transformer 的阿拉伯语语言理解模型

    使用语言特定的 BERT 模型预训练，构建了 AraBERT 模型，以在阿拉伯语 NLP 任务方面实现最先进的表现。

    Feb, 2020

  • 利用变压器模型和语言学知识预训练技术提升阿拉伯语自然语言推断能力

    本文主要研究阿拉伯语文本数据的分类，特别关注自然语言推理和矛盾检测。通过创建专用数据集并利用语言学上知识进行预训练，发现了具有竞争力的阿拉伯语特定模型（AraBERT），并成功应用于大规模任务评估及多任务预训练的首个阿拉伯语背景应用。

    Jul, 2023

  • 针对希伯来语自然语言处理的多语言序列到序列模型

    使用序列生成结构的多语言模型能够更好的处理像希伯来语这样的形态丰富语言，从而提高希伯来语自然语言处理，与以往的编码器结构的预训练模型相比，取得了显著改善。

    Dec, 2022

  • 重新审视预训练语言模型及其在阿拉伯语自然语言理解中的评估

    通过提供三种新的阿拉伯 BERT 模型 (JABER、Char-JABER 和 SABER) 和两种新的 T5 模型 (AT5S 和 AT5B)，并在包括 ALUE 在内的阿拉伯自然语言理解任务和 ARGEN 基准子集上实验性地对现有最先进模型的表现进行了系统性评估，得出了我们的模型在辨别性和生成性阿拉伯自然语言理解和生成任务方面具有显著优势，并达到了新的最先进性能。

    May, 2022