- IJCAI模型的组合性是由什么决定的?一个理论视角:附加材料
本文旨在理解语言中组成性结构在模型失败中的作用以及与其表达能力和样本复杂度的关系,并提出了一种神经符号化的组成性函数及其复杂性的定义,并分析了各种现有的通用和特殊目的序列处理模型在该定义下的组成性复杂性,最后基于提出的定义给出了显式地依赖于 - 发现组件化概括性的模块化解决方案
通过模块性和超网络的研究,我们证明了从有限数据中的元学习可以发现能够组合性地概括的模块化解决方案。
- 训练先验预测文本到图像模型的性能
本文研究了基于 SVO 三元组的文本到图像模型的训练机制,发现该类模型生成图像的能力建立在模型对于大量训练数据中频繁的三元组的记忆上,而对于训练数据中出现较少的关系组合以及非典型角色的概念,模型的性能较差。这表明了当前的文本到图像模型存在着 - 眼见为实:面向机械解释性的脑启发式模块化训练
本文介绍了一种类脑的模块化训练方法,称为 BIMT,可以使神经网络更具有模块化和可解释性,能够应用于多个任务,如符号公式,决策边界和算法数据集的组合结构,可以通过裸眼直接看到模块,以补充当前机械可解释性策略。
- 一种基于上下文的突现学习理论:隐式结构归纳
该研究探讨了大型语言模型的上下文学习能力及其理论机制,提出了基于自然语言数据中组合操作的信息理论边界,并从语言学角度验证了模型输出中间步骤的成功经验。研究表明,在缩放参数和数据并提示输出中间步骤时,模型能在多项任务中进行有效的上下文学习,这 - SIMONe:通过无监督视频分解实现视角不变、时间抽象的物体表示
通过无监督变分方法,我们提出了一种模型 ——SIMONe,能够抽取场景的组成结构,学习并表示场景中各个物体的不依赖于视角的属性,并且可以实现视角合成和实例分割。
- EMNLP组合网络实现基于场景的语言理解的系统性泛化
提出通过遵循组成性原则来训练神经网络解决语言理解的挑战,并通用地应用于多种领域,进而提高机器人的安全性和公平性,所提出的网络能够显着提高自然语言理解能力,且在实现先前工作所不能实现的泛化能力的同时还提供了可解释性的层面。
- 紧急语言的概括和学习速度与组合性无关
两个实验表明,根据任务不同,非复合语言可能显示出与符合语言相等或更好的泛化性能和习得速度,因此在这个领域的进一步研究应更清晰地阐明复合性预期的哪些好处和如何实现。
- 通过分离语法和语义,在深度序列到序列模型中实现对组合概括的学习
本文提出一种基于神经机器翻译的新模型 Syntactic Attention,采用分离语法与语义学习的方式训练,拥有捕捉人类语言组成性结构的能力,相较于标准深度学习方法在具有组成性泛化任务的数据集 SCAN 上表现显著优异。
- ICLR评估表示学习中的组合性
描述了一种评估向量空间和离散码等机器学习输入表示中组成结构程度的程序,并使用这种程序探索了这种组成结构与学习动态、人类判断、表示相似性和泛化之间的关系。
- 学习组合表示用于少样本识别
通过引入简单的正则化技术以及利用类别级别属性注释对神经网络进行特征空间分解,本工作试图弥合深度学习模型与人类学习之间的鸿沟,证明组合表示的价值并展示少量样本即可学习新类别的分类器。
- ICLR循环神经网络隐含地实现张量积表示
使用 Tensor Product Decomposition Networks(TPDNs)来近似现有向量表示,证明 RNNs 可以通过 Tensor Product Representations(TPRs)引导序列表示。
- CVPR神经任务图:从单一视频演示推广到未知任务
通过使用神经任务图网络作为中间表示,我们成功地在两个复杂任务中将任务的组成结构显式融合到模型中,从而实现任务间的泛化,提高数据效率以及无需密集分层监督而实现强泛化能力,并在 JIGSAWS 手术数据集上展示了良好的任务结构预测性能。
- 通过专注的指导进行复合学习
介绍了 Attentive Guidance,这是一种机制,可以指导序列到序列模型配备关注机制,以找到更多的组合解决方案。通过测试,证明序列到序列模型具备在不需要额外组件的情况下找到组成性解决方案的能力。
- 学习因子策略和动作值函数:因子化动作空间表示在深度强化学习中的应用
该论文提出了一种新的学习范式,即分解学习控制策略使其在实现多个动作时只需要执行一个动作,从而取得了显著的性能提升,特别是在 Atari 2600 游戏中媲美或超过了两种 DRL 算法。
- 非参数回归模型的自动构建与自然语言描述
本文提出了一种基于高斯过程的非参数回归方法的自动统计学家。该系统使用一种语言模型自动地为给定数据集探索可行的统计模型,并生成包含图表和自然语言文本的详细报告,同时可以在各种领域的 13 个实时数据集中展现最先进的外推性能。
- CVPR在视频中的句子引导下的活动识别
该研究通过引入由语法指导的多模事件识别框架,进一步探讨了事件的构成结构与语言的构成结构如何相互影响,以及这种影响如何影响视觉行为识别,包括指导注意力、产生句子描述和查询视频等三个方面。