- 自动调整:通过自学指导 LLMs 有效获得新知识
通过自学习的方式,引入 Self-Tuning 学习框架以提高大型语言模型的新知识获取能力,通过加强文档的自监督任务,着重在记忆、理解和自反思三个关键方面,实现从原始文档中高效获取新知识,通过三个数据集进行对知识获取能力的深入分析,实验证明 - 大型语言模型能否将 2 和 2 相加?探测蕴含的数学关系
大型语言模型在知识获取和统计推理方面取得了稳定进展,但在常识推理任务中仍存在局限性,纯统计学习难以应对其中的组合爆炸问题,更大并不总是更好,而且单纯追求统计改进只会加重正确答案与真正推理能力之间的危险混淆。
- COLING优化大型语言模型的召回率:基于模型协作的关系三元组抽取方法
本论文设计了一种评估过滤框架,将大型语言模型与小型模型整合在一起,用于处理关系三元组提取任务,以获得更准确的提取结果。评估模型能够高精度提取相关实体对,并通过简单的标注原则和深度神经网络对模型进行嵌入,将输出作为提示加入到大型模型的提取过程 - iDAT: 逆蒸馏适配器调整
通过利用逆向蒸馏适配器调优(iDAT)框架,将 Adapter-Tuning 方法和知识蒸馏相结合,我们成功地改进了微调性能,并实验证明了该方法的有效性。
- 通过竞争激发机器人潜力
基于竞争学习框架,通过引入竞争环境中的竞争信息作为辅助信号,可以帮助个体机器人从竞争中获取知识,充分激发其动态潜力,从而提高性能。
- COLINGDP-CRE: 通过解耦对比学习和记忆结构保持进行连续关系抽取
DecouPled CRE (DP-CRE) framework effectively handles the challenge of catastrophic forgetting in Continuous Relation Ext - 开放式学习机器人的目标:一个计算分类、定义和操作化
通过内在动机和自主生成的目标的引导,自主开放式学习(OEL)机器人能够通过与环境的直接交互累积地获得新的技能和知识。本研究针对 OEL 机器人在获得的知识与用户任务的相关性之间存在的问题,提出了基于 'purpose' 的概念的解决方案,并 - 迈向自动独立答案:基于实体的对话式搜索答案重写
对话式信息获取是一种新兴的知识获取和探索性搜索范式,本论文旨在探索对话式信息获取中的答案重写方法,使用户能够理解答案而无需借助外部服务或来源。通过创建带有突出实体注释的对话数据集,该研究发现大多数答案包含重要实体。提出了两种旨在改善对话式信 - ActiveRAG: 透过主动学习揭示知识的宝藏
ActiveRAG 是一种创新的 RAG 框架,它通过使用知识构建机制和认知纽带机制将被动知识获取转变为主动学习机制,从而提高了大型语言模型的内在认知,并在问答数据集上取得了 5% 的改进。
- 在线连续知识学习的语言模型
在这篇论文中,我们介绍了一个新的问题,在持续学习领域中称为 “在线持续知识学习(OCKL)”。我们提出了一个新的基准和评估指标,旨在测量新知识获取的速度和先前学到的知识的保留率。通过使用各种最先进的方法进行的实证评估为 OCKL 建立了稳健 - EMNLP通过自我反思来缓解大型语言模型中的幻想
通过与大规模语言模型和数据集合作,本文分析了医学生成型问答系统中幻觉现象的问题,并提出了一种交互自我反思的方法来解决该挑战,最终实验证明该方法在幻觉减少方面优于基线模型。
- ICMLLLM 引导的归纳推理在解决组合问题上的应用
使用递归解决方案和自动推理技术,REBEL 方法扩展了大型语言模型的能力,允许其在开放世界情境中进行深度推理任务和外部工具的使用。
- 非负潜在因子分析的动态线性偏置融合方案
该论文介绍了一种动态线性偏差融合方案,用于高维且不完整数据的表征学习,通过将线性偏差向量扩展为矩阵,并建立二进制权重矩阵来动态切换线性偏差的状态,实现了非负潜在因子分析模型的动态线性偏差。实证研究表明,基于该方案的模型在三个真实应用领域的高 - NeCo@ALQAC 2023: 律法领域知识获取低资源语言的数据丰富化
该论文介绍了 NeCo 团队在 2023 年自动化法律问题回答竞赛(ALQAC 2023)中针对越南文本处理任务提供的解决方案,重点是通过数据丰富来实现对低资源语言的法律领域知识获取。我们的法律文档检索任务方法结合了相似性排名和深度学习模型 - 基于开放研究知识图谱的科学论文知识获取方法
使用计算机辅助工具的知识获取,构建 Open Research Knowledge Graph 并整理自科研论文中提取的关键见解。
- 大型语言模型在人工智能通用智能方面的缺失要素:脑中的容器
我们首先综述了对大型语言模型(LLMs)的现有评估,包括标准化测试和面向能力的基准测试。然后,我们明确了当前评估方法存在的几个问题,倾向于夸大 LLMs 的能力。我们进一步阐述了人工通用智能应该超越 LLMs 能力的几个特征。我们提出了通用 - NIPS评论有助于更好地学习:时间监督知识蒸馏
研究发现,在网络训练期间,特征映射的演化遵循时间顺序属性,使用卷积长短期记忆网络(Conv-LSTM)提取学生的不同训练阶段的时空特征进行动态目标训练,可以实现在学生网络中对旧知识的精炼并利用它们来帮助当前的学习,相关实验证明其方法相对于现 - ACL口罩策略对语言模型知识记忆的影响
本文的目标是建立对知识获取过程的更好理解。我们利用一系列预训练任务注入知识到模型中,并通过测量模型回答事实性问题的能力测试其知识保留能力。我们的实验表明,掩盖实体和基于逐点互信息的相关跨度的原则性掩盖方法可以更好地保留事实知识,而遮盖随机顺 - PokemonChat: 对 ChatGPT 在宠物小精灵宇宙知识方面进行审计
本研究利用 "Pokemon" 这个封闭世界来探讨 ChatGPT 在对话中的理解、推理能力和知识获取能力,并测试了其识别新知识和结合多个特征等能力,并发现了模型的先验知识、出现幻觉和易受对抗性攻击等特点。
- 神经比较学:比较知识的神经符号精炼
本文研究使用 GPT-2 等较小的语言模型获取比较知识的任务,提出一种新的比较知识提取框架 NeuroComparatives,并通过对所获得的 8.7M 个关系的人类验证,证明其优于现有资源(包括 GPT-3),这一结果表明适用于较小语言