- 预先训练模型是否改善?一种基于多头后验的方法
通过利用元特征和模型提取的实体表示之间的一致性作为衡量预训练模型的度量标准,本研究探索了一种评估预训练模型更有效且更高效的方法,该方法在包括有关关系数据集的模型、大型语言模型和图像模型的各个领域中得到了有效验证。
- 基于结构实体锚点的高效对比知识图谱补全的统一结构和语义
使用预训练语言模型方法,结合实体锚点和负采样的方式有效地统一了结构信息和语义信息,提高了知识图谱完成任务的性能,尤其在关联预测任务上表现最佳,超过了现有结构为基础的方法。
- 选择与增强:增强型密集检索知识图增强
使用多任务框架,将文本描述与知识图谱实体相关联,以改进知识图谱的性能,并通过检索模型选择富有信息或高度相关的文本描述来增强实体。实验结果显示,与传统的卷积神经网络相比,使用文本增强的知识图谱方法在链接预测中的 Mean Reciprocal - 面向视觉化文档的全局结构知识引导关系抽取方法
该论文提出了一种 GOSE 框架来进行视觉关系抽取,该框架通过迭代方式捕捉实体对之间的依赖关系以及全局结构知识,并将其融合到实体表示中,实现了实体表示和全局结构知识的相互增强,该方法在标准微调设置下,以及跨语言学习和低资源设置下均表现出有希 - 极地鸭与寻找它们的方法:通过鸭子类型和极地盒嵌入增强实体链接
本文提出了 DUCK 方法,在实体表示的空间中注入结构信息,使用实体类型的先前知识,并将关系表示为超球上的盒子,优化模型以将相似类型的实体放置在与其关系对应的盒子中。实验结果表明,该方法在标准实体消歧基准测试上设置了新的最佳结果,提高了模型 - GPT-RE:利用大型语言模型进行关系抽取的上下文学习
本研究介绍了 GPT-RE,这是一种解决大型语言模型在关系提取中局限性的方法,包括任务特定实体表现的使用和黄金标签引导推理逻辑的使用。该方法在四个数据集上的实验结果表明其超过了 GPT-3 基线并且在 Semeval 和 SciERC 数据 - MIA 2022 共享任务提交:利用实体表示、密集稀疏混合和解码器中的融合进行跨语言问答
本文介绍了针对 Multilingual Information Access 2022 中 Cross-Lingual Open-Retrieval Question Answering 的任务的一个二阶段系统,包含多语言的检索和回答机制 - 为语言模型赋予多模态知识图谱表达
本文提出使用外部知识图谱作为存储知识,并使用密集索引来检索以提高自然语言理解模型的参数效率,并通过两项下游任务证明了学习到的实体表示的实用性。
- WWW知识图谱补全中的图卷积网络再思考
本文通过建立变体研究了基于 Graph Convolutional Networks 的知识图谱完成模型,在实验中发现了与预期相反的图结构建模并不对模型性能产生显著影响,而实体表示的转换是改善性能的关键因素。作者基于此提出了 LTE-KGE - ACLmLUKE: 多语言预训练语言模型中实体表示的强大力量
此篇论文研究了如何利用来自 Wikipedia 实体的跨语言对齐信息来提高多语言预训练语言模型的效果,并探索了在下游跨语言任务中使用实体表示方法的有效性。
- 文档级关系抽取的粗到细实体表示
本研究提出 Coarse-to-Fine Entity Representation model (CFER), 采用粗细分阶段策略,旨在同时关注全局信息与目标实体对之间的路径信息,用于获取更全面的实体表示,并应用于文档级关系提取任务中取得 - 自适应关注网络用于少样本知识图谱补全
本研究提出了一种自适应注意力网络来进行少样本知识图谱补全,通过学习自适应的实体和参考表示形式,实现了对实体和参考贡献进行区分,该方法在两个公共数据集上的链接预测中获得了最新的表现结果。
- EMNLPLUKE: 深度上下文化实体表示与实体感知自注意力
本文提出了一种基于双向 transformer 的新预训练上下文表示方法来处理实体,通过在维基百科中的大型实体注释语料库上预测随机屏蔽的单词和实体,训练了一个新的与实体相关的自注意机制,实现了在实体相关任务中的良好表现。
- ACL语言模型作为知识库:关于实体表示、存储容量和重述查询
本研究探讨基于预训练语言模型作为知识库的 Paradigm,提出两个基本要求:存储大量涉及大量实体的事实和查询存储的事实的能力,并探索了三种实体表示法,提供了一个实证,证明语言模型确实可以作为知识库。
- EMNLP通过大规模打标实现可解释的实体表示
本研究提出了一种利用细粒度实体类型推断模型生成具备人类可读性,且能够直接用于实体相关任务的实体表示向量的方法,并针对特定领域实体优化表征,通过少量规则增加领域知识以提高性能。
- 从文本中学习跨语境实体表示
通过填充空白的任务来学习来自文本上下文中提及的实体的上下文无关表示,结果展示了 Neural 模型的大规模训练可以学习到高质量的实体表示,并在四个领域展示了成功的结果。
- EMNLPEntEval: 实体表示的综合评估基准
在这项工作中,我们提出了 EntEval:一个测试套件,用于评估实体表示的整体质量,并通过使用维基百科中的自然超链接注释开发了学习更好的实体表示的培训技术,通过有效目标的检测, 显示这些目标可以改善多个 EntEval 任务上的强基线。
- Entity-aware ELMo:学习上下文实体表征以解决实体消歧
本研究提出了一种新的本地实体消岐系统,依赖于一种名为 E-ELMo 的实体感知扩展 embedding 方法,能在指定的段落中,基于其它提及的实体,预测它们所指的具体实体,并在 AIDA test-b 评测中提高 0.5% 的微平均准确率, - COLING使用函数关系将分布式嵌入重新适配到知识图谱中
本研究提出了一种 Functional Retrofitting 框架,可扩展目前知识图谱中预先训练的实体表示方法,通过建模成对关系来提高复杂知识图谱上的性能,应用于预测大型健康知识图谱中新的药物 - 疾病治疗对。
- NIPS使用神经嵌入模型学习多关系语义
本文提出了一种统一的模型框架,用于建模多关系表示、评分和学习,并在此框架下对几种最近的多关系嵌入模型进行了实证研究。研究了基于线性和双线性变换的关系算子的不同选择,以及通过整合额外文本资源上的非监督向量进行实体表示的效果。结果表明了几个有趣