从第一原则开始的组合泛化
该研究介绍了一个名为ConceptWorld的环境,用于生成通过逻辑领域特定语言定义的构成和关系概念的图像。研究测试了标准神经网络和关系网络的泛化能力,并提出了一个潜在的基准模型,以鼓励在构成和关系领域有效泛化的模型的发展。
Jun, 2020
通过基于神经网络和具有符号功能的可变插槽进行变通泛化的记忆增强神经模型,该模型由两个协同神经模块组成,一个是Composer,另一个是Solver,通过分层强化学习算法进行端到端训练,实现变通组合能力,其在 well-known benchmark SCAN 上的实验表明,我们的模型具有极强的组合泛化能力,以100%精度解决了之前工作中面临的所有挑战。
Jun, 2020
本文探讨了使用不同的自监督学习算法所学到的表示在复合泛化上的能力,研究发现,与其它算法相比,使用EL模型学习到的表示具有更强的复合泛化能力,但在训练简单模型并使用少量标签进行泛化时直接使用瓶颈表示会导致泛化性能较差,同时现有的度量复合性的指标与本文的评价方法不相关
Oct, 2022
本文全面回顾了构成性泛化在多个实际应用领域的最新发展,介绍了常见应用分类法,并总结了每个领域的最新技术现状。此外,我们还确定了重要的当前趋势,并提供了有关这一新兴领域未来的新观点。
Feb, 2023
通过可识别性理论的视角,我们研究了何时可以保证物体中心表示在组合泛化中保证可补全一致性,通过合成图像数据的实验验证了我们的理论结果和假设的实践相关性。
Oct, 2023
通过对条件扩散模型的控制实验研究,我们发现生成模型在组合推理任务上的性能是突然出现的,其组合能力取决于底层数据生成过程的结构,并在生成非分布样本时需要更多的优化步骤。
Oct, 2023
通过对不同数据因素(包括数据集规模、模式复杂度和示例难度等)的多样化训练集进行实证分析,本研究发现增加数据集复杂性有助于提高模型在多个不同泛化挑战上的泛化行为,并且展示了更复杂的数据集提供更多样化示例以增强组合性理解效果,并减少示例的重复频率以避免不可泛化的记忆,同时强调了简单示例在合成数据集上引发比复杂示例更强的组合性,而在更大规模的真实语言数据集上,简单和复杂示例的平衡混合能够诱导出最强的泛化能力。
Nov, 2023
通过在不同顺序的训练实例和打乱实例标签中训练模型,以测试强迫模型进行上下文学习对组成概括的促进作用的假设,研究表明,以这种方式训练的模型在组成概括方面确实显示出改进,证明了上下文学习问题作为归纳偏差用于概括的有效性。
Mar, 2024
本研究从无任务偏见的视角探索了合成泛化问题,通过理论发现:1)在合成泛化中没有通用解决方案;2)提出了适用于任何合成泛化问题的新型泛化界限,指定了有效合成泛化解决方案的条件;和3)引入生成效应以增强对合成泛化问题及其解决方案的理解,为合成泛化问题提供了一个普适理论,可以与特定任务场景下的先前定理相结合以全面理解合成泛化。
May, 2024