Oct, 2022

探究中心理论在神经语义消歧系统中的作用

PDF
TL;DR本文探讨了中心原理（CT）与现代指称消解系统之间的关系，并提供了中心的操作性定义。信息熵分析表明，指称消解与中心原理之间存在正相关依赖关系，但高质量的神经指称消解器对中心概念的显式建模没有太多好处。结果表明，语境化嵌入包含了很多一致性信息，这有助于解释为什么 CT 只能对使用预训练表示的现代神经指称消解器提供少量收益。同时，本文还讨论了 CT 未能对世界知识和近期偏见等对指称消解的贡献建模，并提出了一种同时考虑最近发生的偏见的中心模型，这种模型在捕捉指称消解信息时比基本的 CT 模型更有效。
centering theorycoreference resolutionneural resolversdiscourse analysiscontextualized embeddings
发现论文，激发创造
  • 关注核心问题：将语篇连贯理论应用于跨文档指代

    通过使用基于潜在嵌入空间的实体 / 事件建模和只对难负例进行训练的分类器，以及在多个语料库上训练，对跨文档基准测试进行核心参考解决方案的分类效果进行了改进。

    Oct, 2021

  • 俄语轻量级核指代消解：基于分层语篇特征的方法

    本研究提出了一种新方法，通过引入修辞信息到神经共指消解模型中，来明确捕获层次化语篇中的指代选择， 并使用多语言实体感知语言模型 LUKE，在 RuCoCo-23 共指消解任务上评估了该方法的性能。实验表明，使用修辞距离的最佳模型在开发集 (74.6 % F1) 上排名第一，在测试集 (73.3 % F1) 上排名第二。希望我们的研究能够激发对于神经共指消解模型中引入语篇信息的进一步研究。

    Jun, 2023

  • 基于 Actor-Critic 学习的混合规则 - 神经共引消解系统

    本文提出了基于演员 - 评论家学习的混合规则 - 神经共指消解系统，它通过利用启发式规则和神经共指消解模型的优点来实现更好的共指性能。此端到端系统还可以通过使用联合训练算法执行提及检测和消解，并使用 BERT 模型生成输入跨度表示。我们的模型在 CoNLL-2012 Shared Task 英文测试集上使用 BERT 跨度表示实现了最新的最佳性能。

    Dec, 2022

  • 中心理论与意大利代词系统

    基于中心语理论，本文研究了意大利语代词化的现象，探讨了中心语理论在意大利语中的适用性，发现功能角色可能会覆盖中心语理论的预测，同时空主语可以用于指称整个话语部分。

    Aug, 1996

  • 跨文档指代消解的现实评估原则

    该研究指出跨文档指代消解的常见评估方法在假设情境方面过于宽松，导致结果夸大。为此，提出两种评估方法论原则，一是应该根据预测的提及而非黄金提及来评估模型，二是模型不应利用合成的 ECB + 数据集的主题结构，以便模型面对词汇歧义挑战，实证结果显示我们更为真实的评估方法对于一个竞争模型的影响巨大，并导致 33 的 F1 得分下降，从而解决该问题。

    Jun, 2021

  • 利用语言学特征提高神经共指解析器的泛化能力

    本研究探讨在核指消解中使用语言特征以提高泛化性能，结果表明，仅增加一组附加的语言特征只略微提高泛化性能，而使用信息量高的特征子集，可以显著提高泛化性能，从而使得我们的系统在 WikiCoref 数据集上获得了与该数据集特定模型相当的表现，实现了最先进的结果。

    Aug, 2017

  • 层级语篇表示对实体共指解析性能的影响评估

    本文利用神经方法中自动构建的语篇分析树，在两个基准实体共指数据集上展示了显著的改进，探讨了相关提及类型对结果的影响。

    Apr, 2021

  • 评估和改进机器翻译模型的指代消解能力

    本文评估了机器翻译 (MT) 模型从隐含信号中学习共指消解的能力，并探究了如何将共指消解模型的输出整合到 MT 模型中以提高翻译质量。研究结果表明，单语共指消解模型的性能远远优于 MT 模型。

    Feb, 2023

  • GPT 知道谁是谁

    通过问题引导的工程方法，我们测试了更大的模型对 coreference resolution 任务的可行性，研究表明，GPT-2 和 GPT-Neo 可以返回有效的答案，但其识别 coreferent mentions 的能力受到提示敏感性的限制，导致结果不一致。

    May, 2022

  • 追溯起源：具有共指关注的机器阅读理解

    本文介绍了一种模拟人类阅读过程并利用实体的指代信息来增强预训练语言模型中的词嵌入以提高模型性能的方法，头两种微调方式，即在预训练模型后添加额外的编码器层以关注实体的指代提及或构建关系图卷积网络来建模实体间的关系。结果表明，在微调阶段明确加入指代信息的方法比在预训练中加入指代信息的方法表现更好。

    Oct, 2021