May, 2024

波斯代词消解：利用神经网络和语言模型

PDF
TL;DR该研究提出了一种用于波斯语代词消解的端到端神经网络系统，利用预训练的 Transformer 模型如 ParsBERT。我们的系统同时优化了提及检测和先行链路，相比前期依赖基于规则和统计方法的最新系统，在 Mehr 语料库上实现了 3.37 F1 分数的提高。这一显著改进展示了将神经网络与语言模型结合的有效性，可能标志着波斯语代词消解领域的显著进展，并为进一步的研究铺平了道路。
coreference resolutionpronoun resolutionmention detectionneural network systempersian pronoun resolution
发现论文，激发创造
  • 一种混合实体中心方法用于波斯语代词消解

    本文提出了一种混合模型，通过将多个基于规则的筛子与针对代词的机器学习筛子相结合，解决了代词消解的挑战。该方法在 400 个文档的波斯语语言语料库中蕴含着出色的性能，并通过与先前模型的比较证明了其有效性。

    Nov, 2022

  • 英波斯语内指消解综述

    该研究综述了核指消解领域的现有语料库和评估指标，提供了基于规则的方法到最新的深度学习技术的核指算法概述，并调查了波斯语的核指消解和代词消解系统。

    Nov, 2022

  • 一种用于阿拉伯语代词消解的序列到序列方法

    该论文提出了一种序列到序列的学习方法，探究了利用先进的自然语言处理（NLP）技术，特别是 Bi-LSTM 和 BERT 预训练语言模型，解决阿拉伯语代词消解问题的有效性。作者建议的方法在 AnATAr 数据集上进行了评估，并与包括传统机器学习模型和手工特征模型在内的数个基准模型进行了比较。实验结果表明，建议的模型在所有指标上都优于比较模型，包括 KNN、逻辑回归和 SVM。此外，作者还探究了多个对模型的修改对性能的影响，结果显示，这些修改显著提高了模型的性能，达到了 81％的 MRR 和 71％ 的 F1 得分，同时还表现出更高的精确度，召回率和准确性。该发现表明，作者建议的模型是解决阿拉伯语代词消解问题的有效方法，也展示了利用先进的 NLP 神经模型的潜在优势。

    May, 2023

  • 使用 BERT 解决具有性别歧视的不明确代词

    该论文研究了指代消解的一个子任务，代词消解，并描述了他们基于 BERT 的方法，该方法能够在性别平衡的情况下，达到 92％的性能得分和更低的性别偏差。

    Jun, 2019

  • 一个用于中文零代词消解的深度神经网络

    该研究提出了一种新的零代词特定神经网络，通过利用语义层面上的上下文信息来表示零代词，并使用两级候选人编码器来明确捕获候选人的本地和全局信息，实验结果表明，在各种实验设置中，我们的方法明显优于现有技术。

    Apr, 2016

  • 使用 BERT 和抽取式问答框架进行性别代词消解

    本文中，我们提出了一种通过 fine-tuned pre-trained BERT 模型并使用抽取式问答形式的代替先前的基于 coreference resolvers 的代词消歧任务，从而克服这个性别偏见问题的解决方案，该模型可以在无需先验知识的情况下，在性别平衡的数据集上取得明显的结果 (F1 值的绝对改善率达到 22.2%)，还提出了通过 ensemble 模型结合多项选择和序列分类等方法进一步提高表现 (F1 值的绝对改善率达到 23.3%)，该模型已在第一届 ACL 会议关于自然语言处理的性别偏见共享任务中获得第九名的成绩。

    Jun, 2019

  • MSnet: 一个基于 BERT 的用于性别代词消解的网络

    本研究提出一种基于预训练 BERT 模型的神经网络模型来解决语言处理中的性别偏见问题，该模型采用了无参数的注意力机制来计算实体跨度的语境表示，并使用向量表示代替三元语义相似度。经实验证明，该模型在性别代词分辨率任务的训练和测试集上的表现较好。

    Aug, 2019

  • 阿拉伯语神经指代消解

    本文基于 Lee 等人的端到端架构，结合 Arabic 版 BERT 和外部提及检测器，引入了一个针对 Arabic 的指代消解系统。这是我们所知的第一个专门针对 Arabic 的神经元指代消解系统，并在 OntoNotes 5.0 上表现出优异的结果。同时，我们还探讨了该任务在 Arabic 上的局限性和可能的解决方案。

    Oct, 2020

  • 使用 BERT 的波斯语命名实体识别模型 Beheshti-NER

    本文使用预训练的深度双向网络 Google BERT，建立了一个用于波斯语命名实体识别的模型，并在 CONLL 2003 评测任务中获得了较高的成绩。

    Mar, 2020

  • 端到端神经共指消解

    本文介绍了第一个端到端的共指消解模型，并展示了它在不使用句法分析器或手工制作的提及检测器的情况下，明显优于所有以前的工作。模型的关键思想是直接将文档中的所有跨度作为可能的提及，并学习每个可能的先行词的分布。模型计算跨度嵌入，将依赖于上下文的边界表示与定位注意机制相结合。它被训练成最大化核对聚类中的黄金先行跨度的边际可能性，并分解以便于对可能存在的提及进行积极修剪。实验表明，尽管这是第一个成功训练不使用外部资源的方法，它仍可以在 OntoNotes 基准测试上获得 1.5 F1 分数的增益，并使用 5 个模型集合获得 3.1 F1 分数的提升。

    Jul, 2017