Feb, 2023

KNOD: 面向自动化程序修复的领域知识蒸馏树解码器

PDF
TL;DR文章提出一种基于深度学习技术的自动程序修复方法 KNOD，其利用了领域知识来指导补丁生成，并在三个广泛使用的基准测试中越过了所有现有的 APR 工具。
automated program repairaprdeep learningknodpatch generation
发现论文，激发创造
  • 将领域知识注入语言模型以用于面向任务的对话系统

    本研究中，我们使用轻量级 adapters 来注入特定领域的知识以在 TOD 任务上进行微调，通过 KPRS 探测方法证明 adapters 对于对话生成任务有着优秀的表现。

    Dec, 2022

  • 用于开发 AI 软件领域语言模型的统一知识图谱服务

    通过使用知识图谱增强任务特定的训练程序，我们提出了 KnowledgeDA 作为一个统一而低代码的领域语言模型开发服务，实现了两个领域的语言模型学习，并进行了五项领域特定 NLP 任务的实验证明。

    Dec, 2022

  • HRKD: 层次化关系知识蒸馏用于跨领域语言模型压缩

    本研究采用层次化关系知识蒸馏方法压缩预训练语言模型，结合元学习以及领域关系图来捕捉不同领域的关系信息，在多领域数据集上实验证明该方法的性能优越性，以及它强大的少样本学习能力。

    Oct, 2021

  • 知识增强深度学习及其应用：综述

    本文综述了知识增强深度学习 (KADL) 的概念及其三个主要任务：知识识别，知识表达和知识整合，并提供了一种基于广泛和完整的领域知识分类法的系统回顾。在这份综述中，我们提供了现有技术的系统性审查，并提供了未来研究方向的方向。

    Nov, 2022

  • 从领域外数据进行蚕合以删选知识

    该研究提出了一种基于 MosaicKD 的知识蒸馏方法，可以使用低成本的跨域数据来训练模型，显著优于现有的方法，并在分类和语义分割等任务中得到了验证。

    Oct, 2021

  • 不同领域之间的直接蒸馏

    基于知识蒸馏，提出了一种新的单阶段方法 “不同领域之间的直接蒸馏”(4Ds)，通过可学习的适配器和融合 - 激活机制，实现了从教师网络到学生网络的跨领域知识转移，取得了可靠的学生网络性能并超过了现有方法。

    Jan, 2024

  • 多源域自适应物体检测中的目标相关知识保留

    本文提出了一种名为 TRKP 的方法，采用教师 - 学生框架，构建多头教师网络来从标记的源域中提取知识并指导学生网络在未标记的目标域中学习探测器，解决了多源领域适应这一泛化性任务的问题。实验结果表明，该方法有效降低了目标域的领域偏移，提高了检测准确率。

    Apr, 2022

  • 多域少样本知识重装，针对高级持续性威胁的上下文感知防御

    本文提出了一种针对 APT 的上下文感知防御方案 FMKR，通过元学习在不同的网络领域生成多个小型任务，将威胁情报和本地实体融合成元学习的支持 / 查询集，以识别可能的攻击阶段，同时提出了基于微调的部署机制在最小化防御成本的同时将学习的知识转移给学生模型，与多模型替换策略相比，FMKR 能更快地响应攻击行为，且调度成本更低，实验结果表明该方案可以提高对工业物联网的防御满意度。

    Jun, 2023

  • KADEL: 知识感知去噪学习用于提交信息生成

    基于我们的经验研究，我们发现在好的实践提交的训练上对提交信息生成具有显著的贡献。通过此发现的启发，我们提出了一种名为 KADEL 的新型知识感知去噪学习方法。我们的实验结果表明，与先前的方法相比，我们的方法在整个 MCMD 数据集上总体上达到了最先进的性能。

    Jan, 2024

  • 知识插件：为领域特定推荐增强大型语言模型

    本文提出了一种通过域特定知识来增强 LLMs（large language models）在实际应用中性能的方法，即 DOKE。通过一个域知识提取器，将提取的知识以 LLM 可理解的方式整合到模型中，实验证明 DOKE 能够显著提高 LLM 在特定领域中的性能。

    Nov, 2023