- 通过提问来检测用户意图的大型语言模型新对话生成代理
使用大型语言模型改进对话响应生成,并检测用户的隐含意图,通过提问问题与具体领域的知识库交互,获得额外知识,并显式地整合这些知识,最终提高了响应生成的性能。
- 文档级关系抽取综述(2016-2022)
本文提供了对最近在文档级关系提取领域的发展的全面概述,并强调了它与句子级关系提取的不同应用。
- 从以 OTTR 为中心的本体工程方法中获得的洞察
用 OTTR 模板表示本体模型模式,通过实例化模板来构建本体或知识库,隐藏了本体表示语言的特定性,使本体工程师能够从某种程度上将信息建模的决策与信息建模的方式(例如,使用哪些设计模式)的决策分开,可以延迟某些决策以便更专注于这些过程,本文概 - 两者皆胜:通过多个知识源与普适链接答复复杂问题
利用多个知识库融合的全连接和部分连接,提出了用于多知识库问答的新任务,并构建了多样化的链接和查询类型基准来有效评估多知识库问答性能。通过将所有链接关系编码到知识库嵌入中,我们提出了一种用于多知识库问答的方法,其在实验中显著优于传统的知识库问 - 维基百科文章的链接预测作为自然语言推理任务
本文介绍了一种以自然语言推理为基础的链接预测方法,将链接预测任务应用于维基百科文章,并在 Data Science and Advanced Analytics 2023 竞赛中取得了优异成绩。
- 大型语言模型向人类类似的概念组织收敛
大型语言模型在知识提取、推理和对话方面显示出与人类相似的表现,但是它们的表现究竟是通过记忆和模式匹配来解释的,还是反映了人类般的推理语义和世界知识,存在争议。本文展示了大型语言模型学习以类似于知识库的方式组织概念,这些知识库提供了推理语义和 - 翻译意义而非单纯的词语:IdiomKB 在通过语言模型优化成语翻译中的作用
使用大型语言模型开发的多语言习语知识库(IdiomKB)能够提高机器翻译模型的性能,通过检索习语的比喻含义,使较小的模型在翻译过程中得到更全面的理解。
- LLM2KB:利用调整指导上下文感知的大型语言模型构建知识库
使用大型语言模型构建知识库的 LLM2KB 系统有不同于基础模型的参数紧凑的注入模型,通过 LoRA 技术调整指令以便使用 Wikipedia 页面上下文实体,并在 LM-KBC 挑战中取得了 0.6185 的平均 F1 得分。
- 将维基数据分类整合到 YAGO 中
我们在这篇论文中介绍了将整个 Wikidata 分类系统尽可能地合并到 YAGO 知识库中的努力,特别关注逻辑约束和类与实例的细致区分。我们的工作创建了 YAGO 4.5,为 YAGO 添加了丰富的信息类,并保持知识库逻辑的一致性。
- FoodGPT:一种在食品测试领域的大型语言模型,采用增量预训练和知识图谱提示
现有的大规模语言模型建设通常是在基础模型上进行微调,有些模型还会融入知识库而不需要预训练。本文提出了一种增量预训练方法来处理结构化知识和扫描文档,通过构建知识图谱作为外部知识库,旨在解决大规模语言模型中的机器幻觉问题。
- 知识 GPT: 通过检索和存取知识库增强大型语言模型
通过将大型语言模型与知识库相结合,KnowledGPT 能够更好地回答涉及世界知识的更广泛问题,利用广为人知的知识库和个性化知识库中的知识。
- MaScQA:一个用于研究大型语言模型中材料科学知识的问答数据集
我们基于材料学领域的 650 个具有挑战性的问题,对 GPT-3.5 和 GPT-4 模型在问答、零点提示和思维链激励下的表现进行了评估,并发现 GPT-4 的准确率最高(约为 62%),而与思维链激励相比,没有明显的准确率提高。通过错误分 - Prompt2Gaussia: 脚本事件预测的不确定性提示学习
通过将公共预训练语言模型作为知识库,并通过提示学习自动挖掘与脚本相关的知识,本文提出了一种考虑到了不确定性的新型提示学习方法,用于脚本事件预测,并在标准基准和大规模数据集上进行了验证,结果表明该方法优于传统基线模型分别 1.46% 和 1. - 人机团队合作中的适应和沟通:处理代理中关于计划的信念差异
基于认识逻辑的合作代理研究中探讨了在没有共享模型的情况下,代理能够通过动态规划行动或交流来解决合作中的不一致。研究提出了一种在条件信念逻辑基础上扩展的形式化表示方法,用于显式地表示代理对可行计划和执行状态的嵌套信念,同时提供基于蒙特卡洛树搜 - KoRC:面向深度文本理解的知识导向阅读理解基准
利用大量知识库指导注释者或大型语言模型构建知识型问题,采用知识库中的标签作为最终答案,验证了目前最强基准模型在处理深入文本理解方面的性能仍然相对较低。
- ACL长尾实体的知识库补全
本文提出了一种基于语言模型的知识库完成方法,针对长尾实体的事实,该方法利用两个不同的语言模型进行候选检索和候选验证和消歧,通过评估我们的方法和不同的基线,引入一个名为 MALT 的基于 Wikidata 的数据集,我们的方法在 F1 中优于 - 社交世界知识:建模与应用
本文提出了一种从社交网络中提取实体向量的框架 ——SocialVec,并将其应用于衡量新闻来源的政治偏向和预测个人特质两项任务中,展示了比基线方法优越或有竞争力的表现。
- 从文本中丰富本体学:一个用于概念发现和定位的生物医学数据集
通过自动化方法将新概念放入知识库,提出基于 MedMentions 数据集的新基准来解决既定数据集常见的问题,并通过最近的大型语言模型方法进行评估。
- ACL元预训练自检索的通用信息提取
本文提出了 MetaRetriever 和 Meta-Pretraining Algorithm 算法,分别从预训练语言模型中检索任务特定的知识以增强通用信息提取技术,并在四项信息提取任务中实现了最新的任务特定的信息检索性能。
- 通过蒸馏将知识更新传递给 LM
文章介绍了建立语言模型的知识库的更新方法,通过上下文蒸馏的方式对实体进行继承知识,以良好的效果进行更新,而不会影响到性能。