- 视觉预训练是否有助于端到端推理?
本文旨在探究是否可以通过视觉预训练使通用神经网络实现视觉推理的端到端学习。我们提出了一个简单的自监督框架,并在两个视觉推理基准上进行了评估。结果表明预训练对于实现复合泛化是必要的,并且我们提出的框架明显优于传统的监督预训练。
- 从第一原则开始的组合泛化
本篇论文从识别可表达性学习出发,将组合性视为数据生成过程的属性而非数据本身,并提出了仅取决于训练分布和模型架构的轻微条件,为组合泛化建立了理论框架,并验证了其应用于现实世界场景的结论,从而为组合泛化的原则性理论研究铺平了道路。
- ACL关于利用翻译数据集评估多语言组合泛化能力
通过翻译 MCWQ 数据集,我们证明不同语言具有不同的组合泛化能力,同时多语种模型仍然难以实现跨语言组成泛化。
- ACL从可见到不可见:探索多属性可控对话生成的组合泛化能力
本论文提出了一种基于提示的解缠控制对话生成模型,DCG,在多属性可控对话生成中拥有更好的泛化性能,并设计了一个统一的无参考评估框架。实验结果证明了该方法和评估度量的有效性。
- ACL探索上下文依赖文本到 SQL 解析中的组合泛化
该文研究了文本到 SQL 的组成归纳泛化问题,通过提出新的标准数据集 CoSQL-CG 和 SParC-CG,提出了一种基于 p-align 的改进方法,并证明了其有效性。
- 基于向量的表示是关键:有关解缠和组合泛化的研究
在人工智能领域,学习并拥有类人类的智能需要处理认知的本质概念和生成这些概念的新的组合的能力,本文研究了这两种能力之间的关系,并发现基于向量的表示方法可以提高这两种能力,此观察结果与神经科学研究一致,为实现类人智能迈出了重要一步。
- ACL基于两种简单的语义边界技术,提高基于语言模型的文本到 SQL 语义分析的泛化能力
本研究着重于解决语义分析中的组成和领域通用性问题,尝试改进基于预训练语言模型的语义解析器的泛化能力,并通过两种简单的方法,在标记化处理等方面达到了实验效果的显著提升。
- ACL使用多重集标记和潜在置换实现无需树形结构的组合泛化
我们利用新的参数化和置换预测方法,提出了一种将语义解析理解为两步处理,并通过规则化线性规划求解器来预测排列,进而取得了比预训练 seq2seq 模型和之前的工作更好的性能,实现了在深度递归上的高准确度的泛化。
- 学习适当组合句法和语义表示以实现组合泛化
该研究提出了 COMPSITION 模型,它是 Seq2Seq 模型的一个扩展,旨在通过引入一个复合层来适当地学习不同编码器层的表示,以生成传递到不同解码器层的不同键和值,从而在两个现实基准上取得了有竞争力的甚至是最先进的结果。
- ACL上下文示例如何影响组合推广?
本文介绍了 CoFe 测试套件,以研究上下文中符合规范的泛化,研究发现,应该具有与测试案例结构相似,彼此之间不同和个别简单的上下文实例,还应该覆盖必需的语言结构。
- ACL深度语义解析中的组合能力需要懒惰
本研究提出了一种基于神经元的语义解析方法,该方法从底部向上构建逻辑形式,采用滞后扩展来维护一组仅在最有前途的候选解析中扩展和处理。 通过在具有挑战性的 CFQ 数据集和三个 Text-to-SQL 数据集上评估,我们展示了这种新颖的、自下而 - CVPR元组合指代表述分割
本文通过元学习的角度,提出了一种 Meta Compositional Referring Expression Segmentation (MCRES) 框架,以提高模型的组合泛化性能。我们的框架可以有效地驱使模型更好地捕捉单个概念的语义 - 修正常见解缠度测度中的缺陷
本论文提出两种新的基于分类问题的度量方法来评估编码器的解缠能力,这些度量方法解决了现有度量方法中的两个缺陷,并且发现这些度量方法与组合概括任务的表现强相关。
- ReCOGS:逻辑形式的附带细节如何 overshadow 语义解释的评估
文章讨论了 COGS 基准测试对句子含义计算的评估方式以及其可能固有的局限性,并提出了一种更具挑战性的改进版本 ReCOGS,以更准确地评估模型的语义能力。
- 应用程序合成概括综述
本文全面回顾了构成性泛化在多个实际应用领域的最新发展,介绍了常见应用分类法,并总结了每个领域的最新技术现状。此外,我们还确定了重要的当前趋势,并提供了有关这一新兴领域未来的新观点。
- 预训练模型中非受控的词汇暴露导致组合泛化被高估
通过对 Kim and Linzen(2020)的 COGS 基准进行测试,我们发现两种修改后的评估设置均导致 T5(Raffel et al.,2020)的泛化性能降低,暗示以前报道的结果由于预训练期间未受控制的词汇暴露而被高估。
- 多样化的演示增强上下文组合泛化
本文提出一种使用不同的演示程序来鼓舞模型学习新体系结构的方法,以解决复合泛化的问题,并表明在纯实际学习设置和与微调结合使用时,结合多样化的演示可以显著提高三个组合泛化语义分析数据集的性能。
- 基于分解的序列到序列学习的真实世界组合通用化
通过对 Disentangled sequence-to-sequence 模型进行改进,我们引入了两个关键的修改,以更好地处理语言中的组合概括,从而在现有任务和数据集上实现更好的泛化性能,并创造了一个新的机器翻译基准,并展示了这种方法比人 - 关于上下文学习的组成泛化差距
本研究探讨了预训练大型生成语言模型在语义解析任务中在上下文学习时的分布内和分布外表现差异以及模型规模的影响,结果显示随着模型规模的增加,相对泛化差距逐渐减小。
- SNN 和 ANN 的舞蹈:通过结合脉冲时序和重构注意力来解决绑定问题
该论文提出了一种脑启发式混合神经网络,通过将时间绑定理论引入到人工神经网络中,通过集成尖峰时间动态(通过尖峰神经网络)和重构注意力(通过人工神经网络),实现了多个对象之间的时间绑定和编码。