- KDD个性化联邦持续学习多层粒度提示
个性化联邦连续学习是一个新的实际场景,对于知识的共享和个性化提出了挑战。我们提出了一种多粒度提示的方法,通过协同模型学习获得粗粒度全局提示,用于高效传输共享的全局知识,并通过细粒度的本地提示个性化学习以克服时序遗忘。我们还设计了一种选择性提 - 大型语言模型的外部和参数知识融合评估
融合外部知识到大型语言模型(LLMs)中,以克服其古老且静态参数化记忆所带来的局限性,增强 LLMs 在知识整合方面的能力成为很有前景的解决方案。然而,先前的研究倾向于过度依赖外部知识,低估了 LLMs 内在参数化知识的宝贵贡献。尤其是在外 - WirelessLLM: 大规模语言模型赋能无线智能
这篇研究论文介绍了一种名为 WirelessLLM 的综合框架,旨在将大型语言模型应用于无线通信网络领域,并解决其独特挑战和需求。通过确定知识对齐、知识融合和知识演进三个基本原则,并探讨了构建 WirelessLLM 的关键技术,包括提示工 - pFedAFM:异构联邦学习中基于批次的个性化自适应特征混合
基于模型异构的个性化联邦学习通过自适应特征混合(pFedAFM)实现了训练不同结构个性化模型的联邦学习客户端,以应对非独立同分布的本地数据。
- 直接未必是最好的:一种增量演化观点下的姿势生成
通过细粒度的逐步演化中心姿势生成框架,我们能够有效地解决姿势变换相关研究中存在的非线性变化、内容失真和模糊等挑战,并能精确地保持各种不同姿势的细节,并通过全局和逐步演化约束以及三径知识融合结构指导姿势合成过程,生成可行的中间姿势。
- FuseChat:聊天模型的知识融合
通过知识融合技术将结构和规模不同的源语言模型(LLM)融合为具有相同结构和大小的目标 LLM,从而实现对聊天 LLM 的融合,该方法在聊天领域中的实验结果表明其在多个尺度上优于其他聊天 LLM 模型,并可达到类似于 Mixtral-8x7B - ICLR大型语言模型的知识融合
通过知识融合的方法,将预先训练的大型语言模型相互结合,以提升目标模型的性能表现,实现在推理、常识与代码生成等多种能力上的改进。
- 知识融合的联邦持续学习:综述
Federated Continual Learning (FCL) integrates federated learning and continual learning to address the challenge of data - 通过数据融合学习材料的结构 - 性能关系:贝叶斯共区相关 N 维分段函数学习
应用贝叶斯算法的 SAGE 算法通过多模态核主成分分析将来自不同数据源的知识合并,学习合成 - 结构 - 性能关系,从而克服高维复杂材料搜索空间和知识融合的挑战。
- IJCAI通过两方面三视角标签传播打造有效高效的时态实体对齐框架
本文提出了一种有效和高效的非神经网络时空知识图谱实体对齐框架 LightTEA ,用于将不同知识图之间的实体进行对齐,提升知识融合的质量和效率。实验证明,相比于现有的同类方法,该模型能够显著提高实体对齐的效果并大幅缩短运行时间。
- 层次导向启示的少样本生物医学知识融合
提出了 HiPrompt,一种监督效率高的知识融合框架,通过面向层次结构的提示引出大型语言模型的少样本推理能力,以弥合稀疏标记的生物医学知识融合与神经嵌入模型之间的差距,并在收集的 KG-Hi-BKF 基准数据集上取得了良好的实验效果。
- 融合语言模型权重实现无数据知识融合
本文提出一种数据无关的知识融合方法,通过在参数空间内合并模型并引导最小化预测差异的权重,将建立在不同训练数据集上的个别模型合并为一个模型,以在所有数据集领域都表现良好并可以推广到域外数据。 在评估设置的一系列电池上,我们发现该方法明显优于 - 知识图谱维护:一个实用框架
本文提出了一个实用的知识图谱策划框架,包括度量质量、验证和清理任务、查重和融合策略,旨在优化知识图谱质量。
- 预训练语言模型在知识密集型自然语言处理中的研究调查
本文介绍了基于预训练语言模型的知识增强模型(PLMKEs)的当前进展,并通过分析三个重要组成部分:知识来源,知识密集型 NLP 任务和知识融合方法来介绍其挑战和未来方向。
- KENN:利用知识增强深度神经网络进行时间序列预测
本文提出了一种新颖的知识融合架构,Knowledge Enhanced Neural Network (KENN),用于时间序列预测,旨在将知识和数据领域的优势相结合,减少整体框架对数据的依赖性,提高性能并将其与现有方法进行比较。
- 联邦模仿学习:一种适用于异构传感器云机器人系统的新型框架
本文介绍了一种新颖的基于云机器人系统的知识融合和转移框架 FIL,该框架通过融合来自本地机器人的异构知识并生成服务请求机器人的引导模型来实现云机器人系统中的姿态学习,同时还引入了一种知识转移方案来促进本地机器人从云中获取知识,最终实验结果表 - EMNLP序列标注领域适应的细粒度知识融合
本研究提出一种细粒度知识融合模型,通过领域关联建模来控制从目标域数据学习和从源域模型学习之间的平衡,以解决序列标注中多级领域相关性差异的问题,实验结果表明,这种模型在三种序列标注任务中表现优异。
- 从数据融合到知识融合
本文研究了不同的信息融合技术在知识融合问题上应用的适用性和限制,从实体链接和模式对齐的角度分析了多个信息来源提取的真实主谓宾三元组,并将最先进的数据融合技术应用到包含 12 个提取器从超过 10 亿个网页中提取的 16 亿个独特的知识三元组