从原始视觉输入中学习组合式取反通信
通过引入一种新的迭代训练算法,以文化传播作为归纳先验,本研究以视觉代理和语言代理之间的 Lewis 信号游戏重新定义了视觉 - 语言对比学习,并通过在训练过程中迭代重置代理权重的方式实现文化传播,使得模型对于合成语言的特性变得更易于学习,达到了在 SugarCrepe 评测中相比标准 CLIP 模型分别提升 4.7% 和 4.0% 的效果。
Apr, 2024
通过基于自由能原理的预测编码和主动推理框架,将视觉、本体感知和语言集成到一个受脑启发的神经网络模型中,通过多种模拟实验及机械臂的测试,研究表明,在增加任务组合的变异性时,对于学习未知的动词 - 名词组合的泛化能力得到了显著提升,这归因于语言潜在状态空间中的自组织组合结构被感觉运动学习显著影响,视觉注意和工作记忆对于准确生成视动序列以实现语言表示目标具有重要作用,这些结果推进了我们对通过语言和感觉运动经验相互作用发展组合性机制的理解。
Mar, 2024
本研究旨在使用好奇心作为反馈机制,诱导一种系统性和明确的语言协议,展示如何利用组合性不仅能让人工智能代理与未见过的对象交互,而且能在零样本场景下从一项任务中转移技能到另一项任务中。
May, 2021
研究了深度神经网络智能体在 Lewis 游戏中的模仿学习行为, 发现了组合性与模仿学习之间的关系, 带来了两个贡献:一是不同类型的学习算法对语言的影响, 二是发现组合性语言的易于模仿性
May, 2023
研究算法在学习语言进化中起到的作用,通过深度学习方法和 RL 神经网络代理进行了提高,并开发出代理能够从原始像素数据中学习的能力,研究表明输入数据中的结构程度影响出现的协议的性质,并证实当代理感知到世界的结构时,结构化的组合性语言很可能会出现。
Apr, 2018
本文研究了视觉指代游戏中深度学习中所学习的表示中的解缠,组合性及系统性之间的关系,并提出了一个基于 Obverter 架构的视觉指代游戏实现了更好的解缠表现。同时,作者还拓展了位置解缠和互信息差解缠指标,以更好地区分不同种类的组合语言,并研究了零样本组合学习测试量是否与先前提出的解缠和组合性指标之一相关联。
Apr, 2023
人类的组合能力和语言学习技能具有高度的可塑性,能够从很少的示例中学习和使用新的功能概念,可以以超出提供的演示方式进行组合。研究了人们解决任务时的假设和归纳偏差,揭示了三个偏差:互斥性、一对一映射和图标级联。该研究显示了机器学习与人类语言学习的巨大差异,并探讨了制定更加类似于人类的机器学习算法的潜在手段。
Jan, 2019
通过提出神经迭代学习算法 (NIL),促进交互神经网络代理人创建一种更为结构化的语言,由于这种基于组合性的语言的学习速度优势及泛化性能的提升,在推理和传输方面有着重要意义。
Feb, 2020
本文探讨了人类与计算机视觉模型在不同类型的视觉组合任务中的差异,通过大程序空间中的最佳程序来生成具有丰富关系结构的候选视觉对象,发现人类和程序感知上存在着一些相同点,同时在一些结构上存在不同,其中,形成新的概念主要涉及到的是组合机制和抽象。
May, 2023