- 从大型语言模型到推荐系统的知识迁移:实践工业应用
借助大型语言模型(LLMs)预训练的能力来提升推荐系统的性能,采用 LLMs 作为物品编码器,通过 LEARN 框架将开放世界知识与协同知识相结合,以解决冷启动和长尾用户推荐中的性能问题。
- LLMs4OM:基于大语言模型的本体匹配
LLMs4OM 框架通过零样本提示技术,利用大型语言模型在本体匹配任务中评估大型语言模型的效果,并在不同本体表示(概念、概念父类、概念子类)之间实现检索和匹配两个模块,全面评估了 20 个不同领域的本体匹配数据集,结果表明,在复杂匹配场景下 - 跨领域知识发现的多智能体利用
通过部署多个跨领域人工智能代理,本研究介绍了一种新的跨领域知识发现方法,这些代理分别专门负责不同的知识领域,通过统一框架协作合作,合成并提供超越单领域专业知识限制的全面洞察力,从而增强知识发现和决策过程。通过对不同多代理工作流场景的比较分析 - 范畴符号学:知识整合基础
我们扩展了代数规范方法以解决从不同模型中提取的知识的集成问题,并且通过将图形结构与 Ehresmann 的素描结构相结合,提出了一个统一的理论,它能够优雅地包含确定性和非确定性神经网络设计的基本概念。这个拓展的代数规范框架为跨不同模型和领域 - 通过视觉语言集成实现零样本人 - 物体交互检测
本研究提出了一种名为 KI2HOI 的新型框架,用于有效整合视觉语言模型的知识,从而改进零样本人物 - 物体交互检测。通过采用动词提取解码器将相应的动词查询转换为特定交互类别的表示形式,设计了基于视觉语义的动词特征学习模块。通过有效的加性自 - InfuserKI: 通过 Infuser 引导知识集成增强大型语言模型
通过使用 Infuser-Guided Knowledge Integration (InfuserKI) 框架,我们能够高效地将未知的知识集成到 Large Language Models (LLMs) 中,从而有效地减少知识遗忘,并超过 - MEMORYLLM: 迈向自我可更新的大型语言模型
MEMORYLLM 是一个自我更新且具有信息记忆能力的模型,它通过在 transformer 的潜在空间中引入固定大小的内存池,能够有效地整合新知识并保持长期信息记录能力,同时维持操作性完整性。
- 半结构化思维链:整合多源知识以提升语言模型推理能力
该研究介绍了一种半结构化提示方法,有效地整合了大型语言模型的参数记忆、文本文档的非结构化知识和知识图谱的结构化知识,并在开放领域的多跳问题回答数据集上进行实验证明了该提示方法显著优于现有技术,甚至超过了需要微调的方法。
- 虚拟助手语音实体知识查询的服务器端重评分
通过在服务器端对口语信息领域查询使用各种类型的语言模型(N-gram 词语模型、子词神经模型)进行重计算,结合在设备上和服务器端的信号,通过整合各种服务器端语言模型相比仅在设备上执行 ASR,证明了在各种实体中心查询子群体中提高了 23%- - 通过从字典中学习概念角色来提高语言模型的语义理解和一致性
基于概念角色理论,我们提出一种实用的方法来从根本上提高预训练语言模型的意义感知能力,通过学习字典中单词和定义之间的精确概念关系,进而结合预训练知识来改善模型的不一致行为并实现知识高效整合。实验结果表明此方法能同时提升多种一致性类型,实现知识 - 动态请求知识的因果发现
Causal Bayesian Networks 中的结构学习算法通过动态识别和请求不确定关系的知识,实现了较大的结构准确性提升,并提供更有效地利用人类专业知识的方法,促进结构学习过程的透明度。
- 通过流形扩展回放进行持续学习
我们提出了一种新的回放策略,称为 Manifold Expansion Replay (MaER),通过扩展知识表示的隐含流形,改善模型的鲁棒性和表达能力,以解决在学习新任务过程中由于老知识和新知识之间不平衡导致的灾难性遗忘问题。我们通过对 - 工程中融合先验知识的机器学习路径
本研究介绍一个三级知识集成机器学习方法,在工程领域平衡整体主义和还原主义的视角,以在数据驱动的过程中转移和利用领域知识。
- ACL基于层次问题分解树的可解释性问答推理
本文提出了一种新的两阶段可解释问答框架 RoHT,该框架借助问题分解进行异构知识的集成,从而有效地回答复杂问题,并在 KQA Pro 和 Musique 等数据集上显著优于现有技术,证明了问题分解对知识集成和 RoHT 框架的有效性。
- CooK:用模块化与协同知识赋能通用语言模型
提出了一种名为 CooK 的新型框架,通过提供模块化的知识和协同来源的知识,为通用大型语言模型增强知识能力,并通过动态选择、筛选、整合不同领域的参数知识仓库促进多领域知识综合和按需更新,从而获得了在六个基准数据集上的最先进性能。
- AAAIGLUECons:一种用于约束条件下学习的通用基准
本文介绍了一项新的基准测试,共包含九个任务涵盖自然语言处理和计算机视觉等领域,该测试旨在系统评估外部知识约束整合方法的效果,通过一组扩展的评估标准分析各种模型的性能,为相关研究挑战提供了框架和指导。
- 位置至关重要!知识驱动对话中的顺序效应实证研究
本文针对对话系统中的知识输入顺序问题,通过实验探究了知识输入顺序对自回归对话模型输出的影响,并提出一种通过修改位置嵌入的简单有效方法解决了这一问题。实验结果表明该方法能够让模型均匀地考虑每个知识声明。
- 诊断脊柱疾病的专家系统
该研究开发的专家系统基于混合推理算法和综合综合知识,能够协助专家快速高质量地诊断脊柱疾病,包括积极的结果和对其应用的潜在影响做了综合评估。
- 本体预训练用于毒性预测
利用本体论先训练(ontology pre-training)方法将人类知识集成到神经网络中,可以提高其鲁棒性和可解释性,在小分子毒性预测问题上表现出优越性能和更好的特征集中能力,并有一定的通用性。
- 知识增强深度学习及其应用:综述
本文综述了知识增强深度学习 (KADL) 的概念及其三个主要任务:知识识别,知识表达和知识整合,并提供了一种基于广泛和完整的领域知识分类法的系统回顾。在这份综述中,我们提供了现有技术的系统性审查,并提供了未来研究方向的方向。