systematic compositionality | BriefGPT

关键词systematic compositionality

搜索结果 - 5

探索大型语言模型在数学推理中的组合不足
大型语言模型在数学推理方面研究了系统组合性，通过引入精心设计的逻辑漏洞陷阱构建了一个新的数据集 MathTrap，发现虽然大型语言模型具备所需知识的两个组成部分，但它们不会自发地组合起来处理这些新问题，通过自然语言提示、少示范演示和微调等多
PDF2 months ago
AAAI赋予 Transformer 系统性组合能力的探索
提出了一种名为 CAT 的具有组合性意识的 Transformer 模型以及两个新的预训练任务，实验结果表明 CAT 在组合性感知任务上优于基线模型，对标准语言理解任务的有效性影响较小。
PDF7 months ago
想象无形的世界：一个对视觉世界模型中系统化泛化的基准
系统化视觉想象技巧的第一个基准测试（SVIB）引入了一种最小化世界建模问题的新框架，通过评估模型在潜在世界动态下生成一步图像到图像转换的能力，为我们带来了系统感知和想象的联合优化、多个难度等级和控制训练中使用的因子组合的可能性。我们对 SV
PDF8 months ago
EMNLP通过辅助序列预测任务诱导 Transformer 的组合泛化能力
该论文提出了两种辅助序列预测任务来帮助解决神经模型在学习符号结构时的不足，并通过在 SCAN 数据集上的实验证明了所提出的方法可以提高 Transformer 模型理解命令的组合结构的能力。
PDF3 years ago
重塑熟悉：测试循环网络的组合泛化能力
研究表明，在小范围模拟的语言理解任务中，seq2seq 模型具有很强的单词和短语的组合能力，但是当需要推导出新的组合规则时，模型的表现则很糟糕，需要更多的训练。
PDF6 years ago