Jun, 2023

在 d≫n 时使用辅助知识图谱实现表格深度学习

PDF
TL;DR我们提出了 PLATO 方法，该方法通过使用描述输入特征的辅助知识图来规范多层感知器（MLP），在 d >> n 的表格数据上实现了强大的性能
machine learningtabular datasetsoverfittingauxiliary domain informationknowledge graph
发现论文，激发创造
  • 基于知识图谱的鲁棒提示学习

    该研究提出了一种基于知识图谱的鲁棒提示学习方法（RPLKG），旨在提高小样本学习的泛化性能。RPLKG 具有可解释性，需要较小的计算资源，易于融合先前的人类知识。

    Apr, 2023

  • 通过知识图谱增强大型语言模型，实现事实感知语言建模

    该论文回顾了使用知识图谱增强的预训练模型的研究，详细介绍了现有的知识图谱增强预训练语言模型（KGPLMs）及其应用，并提出了基于知识图谱增强的大型语言模型（KGLLM）的思想以增强 LLM 的面向事实的推理能力，为 LLM 的研究开辟了新的途径。

    Jun, 2023

  • 图注意力多层感知机

    本文提出了一种新的图神经网络架构 - 图注意力多层感知器（GAMLP），并在多个真实世界数据集和大规模工业数据集上进行了评估，证明了 GAMLP 在扩展性和效率方面具有最先进的性能。

    Jun, 2022

  • 知识增强的机器学习管线对抗多种攻击

    本学术论文提出了一种利用领域知识来改进机器学习模型鲁棒性的方法：通过一阶逻辑规则，将领域知识（如不同预测之间的逻辑关系）整合到概率图模型中，提出了基于领域知识加强的机器学习管道（KEMLP），实证表明相比于其他基线算法，给定额外的弱辅助模型之后，本算法在白盒和黑盒两种情况下都能实现更高的鲁棒性，同时保持高的准确率。

    Jun, 2021

  • 带有提示计划和知识记忆的少样本数据表格转文本生成

    本论文提出 PromptMize 框架，通过 prompt signal 和 knowledge adapter 对 pre-trained language models 进行 few-shot table-to-text generation。实验结果表明较之前的方法有极大优势。

    Feb, 2023

  • KELM：在分层关系图上使用信息传递增强预训练语言表示的知识

    该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

    Sep, 2021

  • 基于预训练语言模型的少样本知识图谱到文本生成

    本文研究如何利用预训练语言模型生成自然语言文本，以便描述知识图谱中的事实，并提出了三项技术创新，包括：语义对齐、关系倾向知识图谱线性化和多任务学习。大量实验证明，我们的模型在 KG-to-text 生成任务中有效性较高，特别在 few-shot 设置下更是优于所有比较方法。

    Jun, 2021

  • 预训练语言模型在简单知识图谱问答中的实证研究

    本文针对知识图谱问答中不同预训练语言模型的性能对比，基于两个基本框架和三个基准数据集进行了实验和分析，结果表明知识蒸馏和知识增强技术对于知识图谱问答有很大的帮助；同时，该文还测试了 ChatGPT 在零样本知识图谱问答方面的表现，最终发布了相关代码与基准数据集供后续研究使用。

    Mar, 2023

  • 大型语言模型的图神经启动

    提出了图神经传递（GNP）方法，通过利用知识图谱，辅助预训练大型语言模型（LLMs）学习有益的知识，具有在常识和生物医学推理任务中的优越性能。

    Sep, 2023

  • 学习领域自然语言理解中的知识增强上下文语言表示

    Knowledge-Enhanced Pre-trained Language Models improve downstream NLP tasks in closed domains by injecting knowledge facts from Knowledge Graphs using the proposed KANGAROO framework that captures implicit graph structure and employs data augmentation for better performance.

    Nov, 2023