knowledge forgetting | BriefGPT

关键词knowledge forgetting

搜索结果 - 8

分布式知识图谱通过扩散模型实现遗忘
本文提出了 FedDM, 一种面向联邦知识图的模型遗忘的新框架，通过扩散模型生成噪声数据以合理地减轻特定知识对 FL 模型的影响，同时保持其对剩余数据的整体性能，并通过对基准数据集进行实验评估证明 FedDM 在知识遗忘方面具有良好的效果。
PDF4 months ago
InfuserKI: 通过 Infuser 引导知识集成增强大型语言模型
通过使用 Infuser-Guided Knowledge Integration (InfuserKI) 框架，我们能够高效地将未知的知识集成到 Large Language Models (LLMs) 中，从而有效地减少知识遗忘，并超过
PDF4 months ago
AAAI一步学习，一步评议
我们提出了一种名为 OLOR（One step Learning, One step Review）的新型基于权重回滚的微调方法，结合优化器，每一步都将权重回滚项引入权重更新项，确保上下游模型的权重范围一致，有效减轻知识遗忘问题，并提高微调
PDF5 months ago
大型语言模型（LLM）的利用中的挑战和影响因素
当面临领域特定问题时，大语言模型（LLMs）可能会遇到问题，如知识遗忘、知识重复、知识幻觉以及知识毒性，这些问题突显了 LLMs 的训练数据和算法设计的困扰。为了解决这些问题，建议对训练数据进行多样化，微调模型，提高透明度和可解释性，并引入
PDF8 months ago
ICLR开放式时态图神经网络
该研究围绕开放时序图的动态信息传递和类别增量学习问题，提出了一种名为 OTGNet 的新学习框架，通过信息瓶颈原则和子图结构筛选策略，在不聚合矛盾信息的前提下，只传递类别不相关的信息，实现了在开放类别集合下的有效信息传递和学习。在三个不同领
PDFa year ago
ICLR语言模型的持续知识学习
本文提出了一种新的连续学习问题 —— 连续知识学习，并构建了一个新的数据集和指标，用于衡量时间不变世界知识的保留，过时知识的更新和新知识的获取。通过实验发现，该问题的关键在于对抗知识遗忘和参数扩展，因此对于更好地维护不断变化的大型语言模型非
PDF3 years ago
任意次数目标检测
本文介绍了一种新的物体检测挑战性场景 “Any-shot detection”，并提出了一个统一的模型，可以同时检测零 / 少样本物体类别，其中核心思想是使用类语义作为目标检测的原型，并提出一种重新平衡的损失函数来强调难以检测的少样本情况，
PDF4 years ago
WSDM揭示群体学习的动态和知识的价值
提出了基于概率建模的众包学习框架，通过利用其他用户对贡献的评估，揭示了用户专业知识随时间的演变。还开发了一个可扩展的估计方法来拟合模型参数，并在 Stack Overflow 上跟踪了约 25,000 个用户的活动，发现高知识价值的答案很少
PDF8 years ago