本文提出了生成神经符号机，它是一种将分散和符号表示的优点相结合的生成模型，支持符号组件的结构化表示和基于密度的图像生成。该模型在结构精度和图像生成质量方面显著优于以前的结构表示模型以及现有的非结构生成模型。

Oct, 2020

通过 Stroke Demonstration 和 deep Q-learning (SDQ) 提出了 Doodle-SDQ 两阶段学习框架，该系统可以产生一系列的笔触行为来复制参考图，并模仿人类画家的行为。实验结果证实了，(1) 在没有直接的逐步行动监督的情况下可以学会 doodling 的技能；(2) Stroke Demonstration 通过监督学习的预训练对于提高性能是很重要的。同时 Doodle-SDQ 还可以有效地在不同类型的媒介中产生逼真的图像，包括草图和水彩画。

Oct, 2018

通过探索哺乳动物大脑中的 grid codes 母题点过程，提出了一种由 DPP-A 驱动的关注机制，并以此实现了有趣的泛化能力，这同时提出了一种方法来改善人工神经网络的自举能力。

May, 2023

该研究利用生成模型建立向量图形的连续生成模型，从而刻画字体绘制过程，提供了一种可操作的样式传播方法，有望成为平面设计师进行字体设计的工具。

Apr, 2019

本文旨在研究用结构性表示学习的方法，具体分为解缠结表示与面向对象表示两个方向，以实现从非结构化数据中提取潜在结构信息的目的，同时还探讨了该方法对预训练表示和下游任务泛化能力的提升以及其对于大规模数据的高效表征学习的应用。

Apr, 2023

通过研究不同归纳偏差对潜在扩散模型 (Latent Diffusion Models, LDMs) 的潜在空间的影响，我们发现具有减少冗余和基于原型的正则化的 LDM 几乎能够产生接近于人类的图画，使其在样本的可识别性和原创性方面更好地模拟了人类感知（根据心理物理评估），这表明人类与机器在一次性绘图方面的差距几乎已经拉近。

Jun, 2024

基于生成 Transformer 模型在解决各种问题方面取得了显著的熟练度，但其泛化能力尚未被完全理解并且不始终令人满意。研究人员将 n 位数加法或乘法等基本数学任务作为调查其泛化行为的重要角度。然而，有趣的是，当在 n 位数操作（例如加法）上进行训练时，模型在未见过的 n 位数输入上可以成功泛化（分布内泛化），但在更长的、未见过的情况下却失败且神秘（分布外泛化）。研究试图通过修改位置嵌入、微调和引导更广泛或更有指导性的数据等解决方案来弥合这一差距。然而，如果不解决基本机制，对于这些解决方案的鲁棒性几乎没有任何保证。我们引起人们对这种无法解释的性能下降的注意，并询问它是否纯粹是由于随机错误。在这里，我们转向机制研究的线路，这在模型可解释性方面取得了显著的成功。我们发现强 ID 泛化源于结构化表示，而在令人不满意的 OOD 性能方面，模型仍然展现出明确的学习代数结构。具体而言，这些模型将未见过的 OOD 输入映射到具有 ID 域等价关系的输出。这凸显了模型携带有用信息以改善泛化的潜力。

Aug, 2023

我们提供了一个形式框架，解决了动力系统重构中的泛化问题。通过引入基于拓扑概念和遍历理论的数学概念，我们证明了黑盒深度学习技术通常无法学习到具有泛化能力的动力系统重构模型。我们的研究对动力系统重构中的泛化问题进行了首次全面的数学处理，并深入理解了泛化问题的根本原因以及如何在实践中解决这些问题。

Feb, 2024

使用 DNN 编码模型预测视觉皮层神经元反应时，我们对其泛化能力进行了表征。通过收集来自猕猴颞下皮层的大规模神经群体反应数据集 MacaqueITBench，我们研究了分布转移对预测神经活动模型的影响。结果显示，分布转移对于预测神经元响应的模型性能有很大影响，并且预训练对象识别模型提取的图像表示之间的余弦距离是神经预测性的强预测因子。

Jun, 2024

本文通过对深度神经网络（DNNs）在不同方向识别对象的表现进行了探究，并系统地检查了 DNNs 的通用性能力的限制，研究了数据多样性对其的影响，并得出了一个有趣的结论：DNNs 只能泛化到像 2D 一样的对象实例，即平面内旋转的内部分布方向。

Sep, 2021