本文提出一种新颖的深度架构，以利用实体的结构和文本信息的宝贵信息。其中，注意力模型可以选择所需的相关信息，并应用门控机制将结构和文本的表征集成到一个统一的架构中。实验表明，我们的模型在链接预测和三元组分类任务上的表现优于基线。

Nov, 2016

本研究旨在整合知识图谱的图嵌入和文本编码技术，以提高自动完成知识图谱的性能，实现更精确的链接预测和结构学习。实验结果表明，该方法能实现与文本编码方法相比 1-2 个数量级的推理成本减少和最先进的性能表现。

Apr, 2020

在本研究中，我们提出了一种关系预测模型，它利用了知识图中的文本和结构信息，并结合了步行式嵌入和语言模型嵌入来有效地表示节点。通过在一个广泛使用的数据集上进行评估，我们证明了我们的模型在关系预测任务中取得了有竞争力的结果。

Apr, 2024

本文介绍了一种新型图形转换编码器，可处理知识图谱等非层次性图形的内容，应用于科学文本领域的图 - 文本生成，评价结果表明，该技术可以产生比竞争的编码解码方法更具信息量且结构更好的文本。

Apr, 2019

本研究提出了一种新的框架，Bi-Encoder-Decoder (BED)，用于解决规范化关系提取中的实体信息利用、新实体表示、性能提升等问题。实验结果表明，该方法在两个数据集上性能显著优于之前的最优方法，并能够良好处理新实体而无需重新训练。

Dec, 2023

本文提出了一种新的多模态语音和文本输入结构，使用多头交叉注意力结合预训练语音和文本编码器，并在目标问题上联合微调。所得的编码器可用于连续的令牌级别分类或对同时文本和语音进行话语级别的预测，并高效地捕获声学 - 韵律和词汇信息。

Apr, 2022

本研究使用 Transformer 模型代替传统知识图谱嵌入模型 (KGE) 的原子嵌入表示，将 KG link prediction 问题转化为序列到序列任务以及使用自回归解码。相比于传统 KGE 模型，这种简单而强大的方法在保持推理时间可控的同时，将模型大小减少了多达 98％，在不进行过多超参数调整的情况下，在多个大型数据集上的表现优于基线。

Mar, 2022

该论文提出一种新的知识图谱嵌入方法 CrossE，该方法利用交叉交互方法生成多个三元组特定的 embedding，并在典型的链接预测任务中取得了最先进的结果，同时更能够生成可靠的解释来支持它的预测。

Mar, 2019

本文提出 “Bi-Directional Query Embedding (BIQE)” 模型，采用双向关注机制进行共有限制查询的答案预测，相比现有模型实验结果表明该模型的性能显著优于现有最先进模型。

Apr, 2020

该研究论文提出了基于注意力机制的特征嵌入方法，能有效地捕捉到三元组周边复杂和隐式的信息，并在多个数据集上相对于现有方法实现了显著的性能提升。

Jun, 2019