- 思维抽象使语言模型智能推理能力更强
提出了一种称为 “思维抽象” 的新型结构化推理格式来实现具有抽象能力的语言模型,通过引入 348k 个高质量样本的 AoT Collection 进行模型微调,并在 Big-Bench Hard 数据集上进行广泛评估,实验证明与 Step- - 错失的联系:大型语言模型的横向思维谜题
通过研究自动化 AI 系统在 Connections 谜题中的效果,该研究探讨了该游戏作为抽象推理的自动化基准测试和衡量数据驱动语言系统中编码的语义信息的潜力。研究发现 Connections 谜题具有挑战性和可行性,是未来工作的重要测试平 - ViTCN:用于推理的视觉转换器对比网络
提出了基于 Contrastive Perceptual Inference network (CoPiNet) 的 Vision Transformer Contrastive Network, 结合心理学、认知学和教育学,采用先进的 V - D4C 手套训练:通过分布和圈定概念解决 RPM 和 Bongard-logo 问题
本研究在抽象推理领域,特别是针对 Raven 的渐进矩阵和 Bongard-Logo 问题,提出了显著的进展,包括重新定义概念边界并构建高级概念和低维表示之间的桥梁的 D2C 方法,通过度量图像表示的分布和 Sinkhorn 距离来实现优秀 - 建模概率模型解决邦加德 - 标志问题
本研究介绍了 PMoC,这是一种为 Bongard-Logo 问题量身定制的概率模型,通过构建独立的概率模型实现了高准确性的推理。此外,我们还提出了 Pose-Transformer,这是一种专为复杂的抽象推理任务设计的增强型 Transf - InternLM-Math: 面向可验证推理的开放数学大语言模型
我们介绍并开源了我们的数学推理 LLMs InternLM-Math,它是从 InternLM2 继续预训练的,将序列到序列格式中的思维链推理、奖励建模、形式推理、数据增强和代码解释器统一起来,监督我们的模型成为一个多功能的数学推理者、验证 - 矢量符号化架构中基于学习规则的视觉抽象推理的概率推断
学习向量符号体系在解决抽象推理问题 (Raven's progressive matrices) 方面具有高效性和预测准确性。
- 口述:通过符号转语言转换解决与符号相关的问题
通过将符号转换为基于自然语言的表示,并将其作为输入信息,我们提出了符号到语言 (Symbol-to-Language) 方法来解决大型语言模型在符号相关问题上的推理不足,这种方法在多个任务上展现出卓越的性能。
- 迈向生成式抽象推理:通过规则抽象和选择完成 Raven's Progressive Matrix
提出了一种基于条件生成模型的解答生成方法,通过使用潜在空间中的规则抽象和选择(RAISE)来编码图像属性、分解潜在规则,并在生成答案时选择适当的原子规则,以解决 Raven's Progressive Matrix(RPM)中的抽象视觉推理 - Lemur: 集成大型语言模型的自动程序验证
通过结合 LLMs 的代码理解能力和自动推理程序,我们提出了一种通用方法论来进行自动程序验证,通过一组导出规则进行形式化描述并证明其合理性,从而实现了在一系列合成和竞争基准测试中的实际改进。
- 通过任务分解学习抽象视觉推理:Raven 渐进矩阵的案例研究
基于变压器蓝图的深度学习架构,解决抽象推理任务中的挑战,通过预测个体对象及其布局的视觉属性来选择答案,并在实验评估中优于现有方法,提供关于推理的有趣见解和部分解释,同时免疫某些 RPM 基准中已知的偏见。
- 超越 Transformers 的函数学习
本研究通过向 Transformer 架构添加两种归纳学习偏差来探究个体的外推能力,结果表明,这些偏差对大型神经网络模型有帮助,也揭示了人类的归纳性学习偏差的类型。
- ICLRDAVA: 逆敌对变分自编码器解耦
介绍了一种名为 DAVA 的新型变分自编码器训练程序,该程序完全消除了超参数选择问题,发现了一种名为 PIPE 的无监督分离的必要条件,并证明了 PIPE 可以积极预测抽象推理中下游模型的性能。
- EMNLP用七巧板形状进行抽象视觉推理
该论文介绍了 KiloGram,这是一种用于研究人类和机器的抽象视觉推理的资源,它包含一个丰富的数据库,并且用于评估近期多模态模型的抽像视觉推理能力,能够通过微调获得更好的结果。
- 语言模型对推理的人类内容效应展示
大型语言模型在抽象推理任务上表现优秀,但与人类推理问题存在相似的缺陷,同时受到人类知识和信仰的影响,使用可信的现实情境方案进行推理可以提高推理质量,这种关联性帮助我们了解认知效应和语言模型表现的因素。
- ECCV学习代数表征以在抽象推理中进行系统化推广
本文探讨了连接主义和经典派对智能的实现方法,提出了一种混合方法来改进推理中的系统化泛化,通过代数表示来提高思维抽象能力,在 Raven's Progressive Matrices 任务中表现出比纯连接主义模型更好的推理性能,并且学到的代数 - ICML逻辑指导生成的抽象推理
该研究提出了一种基于命题逻辑的生成模型 (LoGe),它提供了更高效的生成抽象推理答案的方法,并在 RAVEN 基准测试中超越了黑盒深度神经网络的表现。
- AAAI抽象视觉推理的分层规则感知网络
本文提出了一种分层规则感知网络(SRAN),以解决图形推理测试 RPM 中的互补偏差问题,并引入了用于创建改进数据集 I-RAVEN 的答案集生成算法
- ICML无损弱监督解缠编
该论文指出只需要知道环境中有多少因素发生了变化,而不必了解哪些因素发生了变化,就足以学习到分离的表征,同时实验表明,这种弱监督方式足以在多个基准数据集上可靠地学习到分离的表征,并在多个任务上发挥作用,包括协变量漂移下的一般化、公平性和抽象推 - ICML神经网络中的抽象推理测量
本研究旨在探索神经网络的抽象推理能力,提出了一个基于人类智商测试设计的数据集挑战,并展示了一种新的体系结构,该结构旨在鼓励推理并可显着提高神经网络的推理能力。通过改变测试和训练数据之间的方式,我们发现该模型在某些形式的泛化上非常擅长,但在其