- LLMs 是有意义类型的代码结构
该论文介绍了一组新的抽象概念,用于将神经符号编程与生成式 AI 模型相结合,并提出了一个用于自动转换意义和传统类型的运行时特性。通过利用这一新的代码构造和自动转换特性,我们展示了神经符号程序的示例实现,这些程序灵活地利用了生成式 AI 模型 - 从语言中学习规划抽象化
该论文提出了一个学习状态和动作抽象的框架,利用带有语言注释的示范数据来自动发现符号化和抽象化的动作空间,并在此基础上引出一个潜在的状态抽象。框架包括三个阶段:恢复对象级和动作概念,学习状态抽象、抽象动作的可行性和转移模型,以及对抽象动作应用 - 人类与大型语言模型的抽象能力比较:多模态连续再现
人类从嘈杂的感知数据中提取出对世界有用的抽象。本研究通过串联复制实验探究语言对抽象形成的影响,发现语言作为一种模态对人类的复制结果影响较大,提示人类的视觉和语言表征比 GPT-4 的表征更可分。
- 利用自组织映射在神经网络中寻找概念表示
神经网络学习过程中,通过自组织映射可以视觉和计算地检测神经网络各层激活向量与抽象概念之间的对应关系,并且相对熵可以用作一种合适的方法来识别和定位概念的神经表示,实现概念的可视化并理解其在解决预测任务中的重要性。
- 自监督变形器中抽象表征的形成与功能
通过研究小规模 transformer 在重建部分遮蔽的简单蓝图可视场景方面的内在机制,我们发现网络发展了一种包含数据集的所有语义特征的中间抽象表示或抽象,这些抽象表现为低维流形,其中语义相关令牌的嵌入短暂地收敛,从而实现了对下游计算的泛化 - 退后一步:通过抽象在大型语言模型中引发推理
通过使用 Step-Back Prompting 技术,我们可以通过抽象化从具体细节中获得高级概念和基本原理,从而引导逻辑语言模型在解决问题时进行正确推理,从而显著提高其性能。在包括 STEM、知识问答和多跳推理在内的一系列挑战性推理密集型 - 训练于编程语言的语言模型中有意义迹象的证据
本文研究使用程序语言这一中间测试平台,探究语言模型是否能够理解语义,并发现 Transform 模型可通过样例抽象出当前和未来程序状态,使用的探测器准确率与执行输入所生成的程序一致。文中还提出了一种语义干预的实验方法,并展示了模型能够生成更 - 决策为中心学习的理想抽象
提出了一种通过识别和利用决策的实用结构,在机器学习系统中制定简化抽象的方法,该方法自动配置输出空间以最小化决策相关信息的损失,该方法通过减少所需的数据实现了更好的决策质量。
- 紧急因果和意识基础
该研究探讨了在交互环境下,如何从正确的干预行为进行推理,并证明了在没有操作符的情况下,一个干预仍然可以被表示为变量,进而提出了一种去除预设抽象的形式化方法,透过归纳左右的抽象层次逐渐增加,直到能够代表自我和他人的干预效应,从而实现对意图与自 - 基于线性规划的资源感知信息论树抽象方法
提出了一个针对资源受限的自主代理人获取任务相关的多分辨率环境抽象的整数线性规划方案,该方案利用信息论信号压缩的概念,特别是信息瓶颈(IB)方法,在多分辨率树空间上将抽象问题作为最佳编码器搜索的一种方式。
- 广义规划的声音抽象的自动验证
本文基于 Cui 等人的研究,探索了用于广义规划的 sound abstraction 的自动验证,并提出了基于模型理论的 sound 和 complete abstraction 的定义。本文还提出了可验证 sound abstracti - 学习用于规划的抽象且可迁移的表示
该论文提出了一个框架来自我学习代理环境的状态抽象,这些抽象是任务无关的可重用的,从而显著提高了学习效率和代理任务解决的能力。
- 四分之四原则不构成不平等影响:算法公正中认知侵权令人悲哀的故事
研究了在创造通用性抽象时,过度抽象导致错误的知识领域扩展和伦理风险,并探讨了负责任的 AI 领域如何将 4/5 规则抽象为不适当的不同待遇指标,引入了新的道德含义和潜在的伦理危害,并检视了该领域如何通过将 4/5 规则编码到流行的 AI 公 - 神经元的组合解释
我们使用一种解释深度学习表征中神经元的程序,通过识别与神经元行为密切相关的组合逻辑概念来实现,以比先前使用原子标签的解释方法更精确地描述他们的行为,并回答了一些有关视觉和自然语言处理模型可解释性的问题。
- ICML块 MDPs 不变因果预测
本研究利用因果推断工具,提出了一种不变预测方法,学习适用于具有共享潜在状态空间和动态结构的块 MDPs 的抽象,但观测值不同。研究证明,对于某些环境类别,该方法高概率输出与回报相关的原因特征集对应的状态抽象,并在多环境设置中提供更广泛的模型 - ACL利用语言塑造视觉表示进行少样本分类
本文提出了一种语言塑造的学习方法(LSL),通过利用语言作为监督信号,可以提高小样本学习的效果,在两个具有挑战性的少样本数据集上表现良好。
- ICML使用时空聚类法进行分层强化学习中的选项发现
介绍了一种基于自动技能获取框架的强化学习方法,利用动力学系统和谱聚类算法来识别并建立抽象状态和动作之间的连接;通过该框架可以更加高效地学习和推广多种任务,特别是处理大状态空间的复杂任务时。
- NIPS信息处理能力有限决策者中的抽象化
利用自由能决策框架与失真率理论建立决策与人工智能中抽象概念的关系与应用,得出由于信息处理能力的限制而引起的抽象现象。