- 简短高效:修剪长文件以进行代码生成
数据修正在 LLM 训练中被认为是一种 “秘诀”,质量更高的数据通常会导致更好的 LLM 性能。本文比较了基于嵌入和基于启发式的数据过滤方法,并发现在计算受限的情况下,简单的启发式方法(修剪长代码文件)在训练效率和性能方面优于其他方法。
- 基于嵌入式链接预测的规则挖掘改进
在本研究中,我们提出了一种新的方法,通过在给定知识图谱上应用预训练的实体和关系嵌入来增强知识图谱,并运用规则挖掘系统,从而结合了规则挖掘和基于嵌入的方法的优点,我们在七个基准数据集上进行了大量实验证明了我们的方法的有效性,并提供了开源实现、 - 利用基于区域的图神经网络进行知识图谱的可微分推理
在这篇论文中,我们提出了一种基于顺序约束的简单模型 RESHUFFLE,能够比现有方法更好地捕捉规则,同时在我们的框架中嵌入可以通过可微分的图神经网络(GNN)进行学习,从而具有更高的效率。
- 数理推理中的离群检测的轨迹波动
提出了一种基于轨迹的方法 TV score,通过使用轨迹的波动性进行数学推理中的离群数据检测,实验证明该方法在数学推理场景下优于传统算法,并可扩展到输出空间具有高密度特征的更多应用,如多项选择题。
- P-NAL: 一种有效且可解释的实体对齐方法
我们介绍了一种使用非公理逻辑 (NAL) 的实体对齐方法 P-NAL,该方法捕捉了两种逻辑推理路径,并通过推理路径的结论增强了实体和关系的对齐,实验结果表明该方法在三个 DBP15K 数据集上的表现优于现有的方法。
- 基于语言模型的本体中新概念定位框架
使用语言模型将从文本中提取的新概念插入本体的任务中,我们探索了一种三步骤的方法:边缘搜索,边缘形成和丰富,边缘选择。在所有步骤中,我们提出利用神经方法,其中我们应用基于嵌入的方法和 BERT 等预训练语言模型的对比学习进行边缘搜索,并采用基 - ASGEA:利用子图对齐中的逻辑规则进行实体对齐
利用 Align-Subgraph 实体对齐(ASGEA)框架从 Align-Subgraphs 中挖掘逻辑规则,设计了 Path-based 图神经网络(ASGNN)来有效地在知识图谱中识别和整合逻辑规则,并通过多模式增强的锚点和多模式注 - 一次制作,两次利用的异常检测
POUTA 是一种用于视觉异常检测的方法,通过利用重构网络中的判别信息潜力,提高了准确性和效率,并且能够精确定位异常区域。
- 重访和超越实体对齐:生成模型的视角
本文从生成模型的角度研究了基于嵌入的实体对齐(EEA),理论上证明了生成对抗网络(GAN)方法的有效性,并提出了基于互相变分自编码器(M-VAE)的生成 EEA(GEEA)框架,可以在实体对齐和实体合成任务中产生新实体。
- 多模态知识图谱对齐的实证研究:视觉、推理和对齐
本文提出了一种使用逻辑推理和多模态知识图谱嵌入的新型多模态实体对齐方法 LODEME,它能准确地利用多模态信息,实现对常见多模态知识图谱中图像特征的提取和利用。Lodeme 在包含图像的八个大规模知识图谱对比数据集上实现了最先进的表现。
- Adap-$τ$: 为推荐系统自适应调节嵌入向量幅度
本文研究了通过使用嵌入归一化来消除推荐系统中存在的流行偏差和训练不稳定性;通过对四个真实世界数据集的实验证明,将用户 / 项目嵌入归一化到一个特定的值可以显着提高性能。但是,这种方法高度依赖于温度 tau 的选择,因此本文还提出了一种自适应 - EMNLPSMiLE:基于模式增强的多级对比学习用于知识图谱链接预测
文章介绍了一种基于模式约束的多级对比学习方法 (SMiLE)。实验结果表明该方法能有效地进行知识图谱中的链接预测,并比现有技术取得更好的效果。
- KDD使用预训练多模态 Transformer 和双负采样完成知识图谱补全
提出了一个基于 VisualBERT 的增强型知识图谱补全模型 (VBKGC),其采用了双胞胎负采样策略,能够捕捉基于嵌入的多模态信息并将其集成到 KGC 模型中,具有优秀的链路预测任务表现。
- ACL实体对齐的深度强化学习
本研究将实体对齐建模为顺序决策任务,并提出强化学习的实体对齐框架,可以灵活地适应大多数基于嵌入的实体对齐方法,实验结果表明其能够持续提高多个最先进方法的性能,其中 Hits@1 的最大提高率为 31.1%。
- 关系知识蒸馏下联合学习知识嵌入和邻域一致性以实现实体对齐
本文提出了一种基于图卷积神经网络和知识蒸馏的实体对齐模型以解决关系语义信息利用不充分的问题,并通过实验验证了其有效性。
- 跨文字系統的無監督雙語詞彙彙編
本文研究了使用无监督双语词汇识别中基于嵌入的最新方法,提出了一种使用拼写信息的强化方法,并提出了一种可以学习和利用具有不同语言间的正字对应关系的方法。实验结果表明该方法在使用不同文字和不同词汇相似度的三种语言对上表现出了很好的效果。
- EMNLP知识图谱中的少量样本链接预测的元关系学习
本研究基于 Meta Relational Learning 框架,针对在知识图谱上进行少样本关系预测的挑战,通过转移关系特异的元信息来实现优化学习,最终在少样本关系预测基准测试中取得了最先进的成果。
- IJCAI异构知识图谱的关系感知实体对齐
本文提出一种基于关系感知的双图卷积神经网络(RDGCN),以通过知识图谱和其双重关系相互作用来整合关系信息,并进一步捕获邻近结构以学习更好的实体表示,以获取更好且更有效的跨语言实体对齐结果。
- 知识超图:超越二元关系的预测
本文提出了两种基于嵌入的方法 HSimplE 和 HypE,直接处理知识超图中的关系, 以解决链接预测问题,此外还开发了公共数据集、基准测试并进行了实验,证明所提出的模型比基准测试更 effective。
- ACL基于双向注意力记忆网络的知识库问答
本文提出了一种新型的双向注意力记忆网络(BAMnet),通过直接建模问题和知识库之间的交互作用来回答自然语言问题,并使用注意机制使解释性比其他基准线更好,在 WebQuestions 基准测试中,我们的方法明显优于现有的基于信息检索的方法,