Jun, 2021

知识增强的机器学习管线对抗多种攻击

PDF
TL;DR本学术论文提出了一种利用领域知识来改进机器学习模型鲁棒性的方法：通过一阶逻辑规则，将领域知识（如不同预测之间的逻辑关系）整合到概率图模型中，提出了基于领域知识加强的机器学习管道（KEMLP），实证表明相比于其他基线算法，给定额外的弱辅助模型之后，本算法在白盒和黑盒两种情况下都能实现更高的鲁棒性，同时保持高的准确率。
neural networksadversarial examplesmachine learning pipelinedomain knowledgerobustness
发现论文，激发创造
  • 领域知识减轻多标签分类器的对抗攻击

    本文提出了一种基于领域知识和逻辑约束的多标签分类方法，可以在不使用攻击知识的情况下有效地检测出对抗样本。

    Jun, 2020

  • 知识图谱表示学习的对抗鲁棒性

    知识图谱是企业应用中智能决策所必需的关于世界事实知识的概念关系，学习知识图谱嵌入（KGE）模型可以有效地推断新知识。然而，该论文指出，现有的 KGE 模型容易受到数据污染攻击，在预测任务中存在安全漏洞，因此提出了两种新颖的数据污染攻击方法，旨在解决这一问题。

    Sep, 2022

  • 学习领域自然语言理解中的知识增强上下文语言表示

    Knowledge-Enhanced Pre-trained Language Models improve downstream NLP tasks in closed domains by injecting knowledge facts from Knowledge Graphs using the proposed KANGAROO framework that captures implicit graph structure and employs data augmentation for better performance.

    Nov, 2023

  • DKPLM：用于自然语言理解的可分解知识增强预训练语言模型

    本文介绍了一种新颖的预训练语言模型 DKPLM，它通过解耦知识注入过程的不同阶段，利用基于相关知识三元组的伪标记表示替换长尾实体嵌入，以及设计关系知识解码任务，使得模型在零样本知识探测任务和多种知识感知语言理解任务中表现优异且具有更高的推理速度。

    Dec, 2021

  • KELM：在分层关系图上使用信息传递增强预训练语言表示的知识

    该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

    Sep, 2021

  • 通过路径选择增强的知识图谱大型语言模型

    提出了一个称为 KELP 的基于知识图谱的大型语言模型的框架来解决幻觉问题，通过生成与输入文本的潜在语义匹配程度评分，实现对知识路径的精细提取，同时通过已训练的编码器考虑与输入文本间具有间接语义关系的知识路径。实验验证了 KELP 的有效性。

    Jun, 2024

  • KGPA: 大型语言模型的跨领域知识图谱鲁棒性评估

    本文提出了一种通过知识图谱来评估大型语言模型在对抗攻击场景下的鲁棒性的框架，并通过生成原始提示和毒化的对抗提示来评估模型的鲁棒性。实验证明，ChatGPT 家族的对抗鲁棒性在 GPT-4-turbo > GPT-4o > GPT-3.5-turbo，而大型语言模型的鲁棒性受其所操作的专业领域的影响。

    Jun, 2024

  • 知识增强深度学习及其应用：综述

    本文综述了知识增强深度学习 (KADL) 的概念及其三个主要任务：知识识别，知识表达和知识整合，并提供了一种基于广泛和完整的领域知识分类法的系统回顾。在这份综述中，我们提供了现有技术的系统性审查，并提供了未来研究方向的方向。

    Nov, 2022

  • 知识增强预训练语言模型综述

    本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

    Nov, 2022

  • 运用适配器模块和知识图谱拓宽生物医学语言模型的知识增强

    本文介绍了一种使用轻量级适配器模块将结构化的生物医学知识注入到预训练语言模型中的方法，并对该方法在三个下游任务中的性能进行了测试和分析。

    Dec, 2023