EMNLPOct, 2020

高效长序列建模的零次实体链接

PDF
TL;DR本文提出了一种不需要用长位置嵌入来预训练 BERT 的方法，通过称为 Embedding-repeat 的有效位置嵌入初始化方法扩展长程序列建模来解决零样本实体链接问题，并在 Wikia 的零样本 EL 数据集上将 SOTA 从 76.06％提高到了 79.08％，在长数据上的相应改进从 74.57％到了 82.14％。实验证明了长程序列建模的有效性。
zero-shot entity linkingbert-basedsequence modelingposition embeddingswikia's zero-shot el dataset
发现论文，激发创造
  • 基于稠密实体检索的可扩展零样本实体链接

    本文介绍一种基于 BERT 的实体链接模型，采用两阶段的零样本链接算法，通过双编码器进行实体检索，并进一步用交叉编码器对候选实体进行重排序。经实验证明，这种方法不需要显式实体嵌入或手动工程化的实体表，已超越最近的零样本评估和已建立的非零样本评估（如 TACKBP-2010），并且具有速度快的优点。

    Nov, 2019

  • 通过阅读实体描述进行零样本实体链接

    本研究提出了零样本实体链接任务，通过大规模无标记数据预训练的强阅读理解模型与适应性预训练策略，成功实现了无先验标注数据的实体链接，并在新数据集上获得了比 BERT 等强预训练模型更好的表现。

    Jun, 2019

  • 零样本神经网络跨语言实体链接

    本研究探讨了零资源语言的跨语言实体链接问题，利用高资源语言建立了基于字级别神经实体链接模型的枢轴式实体链接框架，实现了跨 54 种语言的零 - shot transfer，并在 9 种低资源语言上进行了实验，相比于基线系统，平均提高了 17% 的实体链接准确性。同时，文章还探讨了语言通用音韵表示的使用，在不同语言之间转移时将平均准确率提高了 36%。

    Nov, 2018

  • ZS-BERT: 面向属性表示学习的零样本关系抽取

    本文提出了一种基于 BERT 的多任务学习模型（ZS-BERT），通过零样本关系抽取解决新出现关系的抽取问题，实验结果表明该方法相比于现有的方法在 F1 分数上至少提高了 13.54%。

    Apr, 2021

  • 零样本实体链接的阅读与选择框架

    零摒弃实体链接是指将实体提及与未见过的实体对齐以挑战泛化能力。本文提出了一种读取和选择（ReS）框架，通过建模实体消歧的主要组成部分，即提及 - 实体匹配和跨实体比较，从而在候选检索和候选排序阶段均具备较好的性能，无需繁琐的多阶段预训练，展示了提及 - 实体和跨实体交互的有效性。

    Oct, 2023

  • 面向生命关系抽取的句向量对齐

    本研究提出了一种基于记忆增量学习的关系抽取方法，通过利用带重现记忆的随机梯度优化方法和明确对齐模型，在保留之前任务学习经验的同时有效地适应新的数据和关系。实验表明，所提出的方法明显优于现有的生命周期学习方法。

    Mar, 2019

  • 使用预训练的序列到序列模型进行文档排名

    通过对预训练序列到序列模型进行新的调整，使其能够用于文档排名任务，相比较于 BERT 等仅采用编码器预训练变压器架构的基于分类的排名方法，我们的方法在实验中展现出了更好的性能，并发现我们的方法在数据较少的情况下更能胜任。

    Mar, 2020

  • 基于 Transformer 的零样本序列标注句子分类器

    本文研究了如何将句子级 transformer 修改为在没有任何直接监督的情况下有效的序列标记，我们发现一个软性注意模块可以明显优于现有方法，使得能够更好地在标记级别提高性能。

    Mar, 2021

  • NextLevelBERT：探索使用高级表示进行长文档的遮蔽语言建模

    NextLevelBERT 是一种掩码语言模型，通过对高级语义表示进行预测，可以有效处理长文档，并在语义文本相似性、长文档分类和多项选择问答三个任务类型上取得较好效果。

    Feb, 2024

  • 通过分离位置信息提高零样本翻译的准确性

    本研究提出了一种能够有效缓解多语言神经机器翻译中面临的零翻译问题的方法。我们的改进主要在于移除编码器层中的残差连接，使模型表示更多地与特定语言对应。通过此种改进，我们在零翻译的任务上获得高达 18.5 个 BLEU 点的提升，而且在其他有监督的翻译中保持了高质量的表现。通过对隐藏层输出的详细检查，我们也表明了我们的方法确实能够获得更多的语言无关性。

    Dec, 2020