组合式生成建模:一个模型无法满足所有需求
通过对条件扩散模型的控制实验研究,我们发现生成模型在组合推理任务上的性能是突然出现的,其组合能力取决于底层数据生成过程的结构,并在生成非分布样本时需要更多的优化步骤。
Oct, 2023
本篇论文从识别可表达性学习出发,将组合性视为数据生成过程的属性而非数据本身,并提出了仅取决于训练分布和模型架构的轻微条件,为组合泛化建立了理论框架,并验证了其应用于现实世界场景的结论,从而为组合泛化的原则性理论研究铺平了道路。
Jul, 2023
我们提出了一种名为 Compositional Sculpting 的方法,用于定义迭代生成过程的组合,通过分类器指导实现了采样,展示了在 GFlowNets 和扩散模型中实现组成塑造的方法,并提供了在图像和分子生成任务上的实证结果。
Sep, 2023
介绍了一种广泛适用的形式主义,即组合问题图,以解决机器学习中不利于推广的问题,提出了组合泛化问题并引入组合递归学习器,该框架适用于学习算法过程以组合表示转换,从而产生能够进行推理的学习器。
Jul, 2018
本文中,我们展示了由能量基模型直接组合概率分布从而展示人类智能的一个重要方面:从简单构想到复杂概念的组合能力。我们的模型能够生成自然图像,同时满足概念的合取、析取和否定等关系。我们在 CelebA 数据集和合成 3D 场景图像上评估了我们模型的组合生成能力,并展示了我们模型的其他优势,如持续学习和整合新概念,或推断图像潜在的概念属性组合。
Apr, 2020
本研究通过研究多模态设置下的顺序组合泛化,检验了使用 CompAct(组合活动)数据集在丰富的自我中心厨房活动视频背景中。研究发现,双模态和三模态模型明显优于仅文本的对应模型,强调了多模态在未来研究中的重要性。
Apr, 2024
通过创建独特的数据集,评估现有多标签文本分类模型对复杂概念的组合泛化能力,在此基础上引入了数据增强方法,利用两种创新的文本生成模型提高分类模型对组合泛化的能力。实验证明,该数据增强方法显著提升了分类模型在我们的基准测试中的组合泛化能力,两种生成模型均超过了其他文本生成基准。
Dec, 2023
该文介绍了一种基于多模态数据边缘似然的分层变分自编码器的族群。文章使用 VAEGAN 及基于流的模型构建了模型。实验结果表明,对于图像、标签和文本数据,这些模型在很多领域中达到了最优结果,并且使用 GAN 图像模型和 VAE 语言模型可以得到更好的表现。最后,在配合口语的任务中,该文章发现用于学习图像表达的表示比只使用视觉数据中学习的等效表示更抽象、更组合。
Dec, 2019