客观目标是否重要?比较代词消解的训练目标
本文提出了一种自动生成大规模虚拟训练数据的方法,以解决零代词指代问题中标注数据不足的问题,并成功将阅读理解神经网络模型用于零代词指代问题,通过提出的两步训练机制在OntoNotes 5.0数据集上取得了显著的3.1% F-score改进。
Jun, 2016
本文在共指消解和自然语言推理领域引入了一个目标针对常识理解和世界知识的新基准,即Knowref。我们提出了一个包含超过8,000个文本段落的语料库,用于研究具有歧义的代词指代的核心指代功能。我们发现,各种核心参考系统(基于规则的、特征丰富的或神经网络的)在该任务上的表现都比人类差得多,而这可能是因为这些模型缺乏上下文信息。我们还提出了一种数据增强技巧 antecedent switching,并展示了它在其他任务中取得了有 promising 的结果。
Nov, 2018
本文提出了一个包含两层模型的代词共指消解模型,使用了上下文信息以及外部知识,其中一个使用注意力机制的知识模块被设计来根据不同的上下文内容确保模型能够使用合适的外部来源。实验结果表明,该模型的有效性和优越性优于现有的模型。
May, 2019
通过介绍SP-10K,提出一种更好的方法评估SP模型,并通过评估三种SP获取方法,探讨SP-10K与常识知识的关系,证明了提出新的SP关系对于处理短语代词共指问题的重要性。
May, 2019
本文中,我们提出了一种通过fine-tuned pre-trained BERT模型并使用抽取式问答形式的代替先前的基于coreference resolvers的代词消歧任务,从而克服这个性别偏见问题的解决方案,该模型可以在无需先验知识的情况下,在性别平衡的数据集上取得明显的结果 (F1值的绝对改善率达到22.2%),还提出了通过ensemble模型结合多项选择和序列分类等方法进一步提高表现 (F1值的绝对改善率达到23.3%),该模型已在第一届ACL会议关于自然语言处理的性别偏见共享任务中获得第九名的成绩。
Jun, 2019
这篇研究综述了神经革命之后对于零代词翻译的研究进展,提供了基于演化、数据集、方法和评估的文献组织。另外,该文比较并分析了不同基准测试上的竞争模型和评估指标,找到了一些有见地的发现,例如大语言模型的发展趋势与零代词翻译相一致,而数据限制会造成学习的偏差,而先进的方法离实际应用仍有很大差距等。
May, 2023
该论文提出了一种序列到序列的学习方法,探究了利用先进的自然语言处理(NLP)技术,特别是Bi-LSTM和BERT预训练语言模型,解决阿拉伯语代词消解问题的有效性。作者建议的方法在AnATAr数据集上进行了评估,并与包括传统机器学习模型和手工特征模型在内的数个基准模型进行了比较。实验结果表明,建议的模型在所有指标上都优于比较模型,包括KNN、逻辑回归和SVM。此外,作者还探究了多个对模型的修改对性能的影响,结果显示,这些修改显著提高了模型的性能,达到了81%的MRR和71% 的F1得分,同时还表现出更高的精确度,召回率和准确性。该发现表明,作者建议的模型是解决阿拉伯语代词消解问题的有效方法,也展示了利用先进的NLP神经模型的潜在优势。
May, 2023
该研究提出了一种用于波斯语代词消解的端到端神经网络系统,利用预训练的Transformer模型如ParsBERT。我们的系统同时优化了提及检测和先行链路,相比前期依赖基于规则和统计方法的最新系统,在Mehr语料库上实现了3.37 F1分数的提高。这一显著改进展示了将神经网络与语言模型结合的有效性,可能标志着波斯语代词消解领域的显著进展,并为进一步的研究铺平了道路。
May, 2024
本研究旨在解决存在于Winogender数据集中对代词不同语法形式的处理不一致、模板约束的违反和排版错误等问题,从而影响性别偏见测量的可靠性。我们提出了一个新的数据集Winogender 2.0,并提出一种新的方法评估核心指代中的代名词偏见,显示偏见特征不仅在代词集之间差异明显,而且在这些集的表面形式之间也存在变化。
Sep, 2024
本研究针对使用 Winogender 模式评估核心指代解析中的性别偏见时存在的数据问题进行了深入分析,包括代词形式的等价处理、模板约束违反及排版错误。我们提出了新数据集 WinoPron,并开发了一种新的评估方法,以更全面地衡量核心指代解析中的代名词偏见,发现偏见特征不仅因代词集而异,也因其表面形式而异。
Sep, 2024