本文介绍了一种新型图形转换编码器,可处理知识图谱等非层次性图形的内容,应用于科学文本领域的图 - 文本生成,评价结果表明,该技术可以产生比竞争的编码解码方法更具信息量且结构更好的文本。
Apr, 2019
本文利用传统技术和转换器技术对美国专利短语进行语义相似性分析和建模,并对 Decoding Enhanced BERT(DeBERTa)的四种不同变体进行实验,在此基础上通过 K 次交叉验证提高性能,实验结果表明我们的方法比传统技术更具有优越性,平均 Pearson 相关系数为 0.79。
Jul, 2022
文本匹配是将两段文本进行匹配并确定它们之间的关系的任务,本文提出了一种名为知识增强文本匹配模型(KETM)的新模型,通过从外部知识源中丰富上下文表示来增强模型的理解和推理能力。实验证实了我们的模型在四个数据集上表现良好,并且与不添加外部知识的基础模型相比,我们的方法的性能得到了提高。
Aug, 2023
本研究提出使用预训练语言模型来完成知识图谱,使用 KG-BERT 架构对知识图谱中的三元组进行建模,通过实验结果显示,该方法在三元组分类、链接预测和关系预测任务中均可以达到最佳表现。
Sep, 2019
研究长文档匹配的最新进展集中在使用基于 transformer 的模型进行长文档编码和匹配,本文实证演示了相对于 transformer-based 模型,使用简单的神经模型(如前馈网络和 CNN)和简单的嵌入(如 GloVe 和 Paragraph Vector)在文档匹配任务中的更高效性。
Feb, 2023
本研究旨在整合知识图谱的图嵌入和文本编码技术,以提高自动完成知识图谱的性能,实现更精确的链接预测和结构学习。实验结果表明,该方法能实现与文本编码方法相比 1-2 个数量级的推理成本减少和最先进的性能表现。
Apr, 2020
本文探讨了如何在不同的知识图谱之间匹配实体的问题,使用基于分类的方法和 RDF2Vec 图嵌入表示,同时提供用于研究该问题的数据集和实验结果作为未来工作的强基线。
Mar, 2019
本文介绍了我们为参加 Kaggle 上的 Wikipedia 图像 - 字幕匹配挑战而设计的系统,该系统使用与图像相关的数据(URL 和视觉数据)来在一个庞大的字幕库中找到正确的字幕。我们提出了两个基于 Transformer 模型的级联模型,能有效地推断查询图像数据与字幕之间的相关度,并通过广泛的实验验证了其在处理大量的图像和字幕时的效果,同时完成一定的验证时间复杂度。在 Kaggle 的私人排名中,我们的方法的标准化折扣累积增益值(nDCG)达到了 0.53。
Jun, 2022
本文提出了一种基于 Transformer 模型的文本生成框架,以实现表格与文本的一致性,并提出了一种新的自动度量标准来评估一致性,实验证明该框架可以显著超越现有技术。
May, 2020
提出一种层次噪声过滤模型 Match-Ignition,通过将 PageRank 算法嵌入 Transformer 并在匹配过程中在句子和单词级别识别和过滤噪声信息,以提高长型文本匹配问题的有效性和效率。
Jan, 2021