本论文提出了一种名为 GeDi 的方法，通过引入更小的 LM 作为生成鉴别器以指导在大型 LM 上更安全和可控的生成。GeDi 计算每个标记的分类概率，以便于实现对生成的控制，并且可以使 GPT-2 在不影响语言质量的情况下显著降低毒性，同时还能够使用较少的主题进行控制生成。

Sep, 2020

通过贝叶斯分析，我们对最先进的自监督学习目标进行了研究，提出了一种从第一原理推导这些目标的标准化方法，并表明将自监督学习与基于似然的生成模型进行整合的自然方式。我们在集群自监督学习和能量模型的领域内验证了这一概念，并引入了一种新的下界，可可可靠地惩罚最重要的失败模式。我们的理论发现通过对合成和真实世界数据的实验证实，包括 SVHN、CIFAR10 和 CIFAR100，因此显示我们的目标函数能够在聚类、生成和外分布检测性能方面远远优于现有的自监督学习策略。我们还证明 GEDI 可以集成到神经符号框架中，以减轻推理的快捷问题，并通过增强的分类性能学习更高质量的符号表示。

Dec, 2023

该论文通过能量基模型的混合判别 - 生成式训练，展现出对比学习和监督学习之间的直接联系，并且提出的能量基损失函数的逼近方法有着比现有方法更好的分类准确性、鲁棒性、分布检测和校准性能。

Jul, 2020

本文提出了生成神经符号机，它是一种将分散和符号表示的优点相结合的生成模型，支持符号组件的结构化表示和基于密度的图像生成。该模型在结构精度和图像生成质量方面显著优于以前的结构表示模型以及现有的非结构生成模型。

Oct, 2020

提出一种基于对比学习的迭代图形自蒸馏方法（IGSD），可以在无监督情况下自动学习图形级别的表示，并且将其扩展到半监督情况和自训练中，实验表明，在各种图形数据集中，IGSD 在无监督和半监督设置下均获得了显著的性能提升，证明其优越性。

Oct, 2020

本文提出了一种自洽学习的框架，利用生成对抗网络的生成模型和判别模型的博弈优化，使两者协同训练，避免了 GAN 训练不稳定的问题，并在句子语义匹配问题上实现了较好的性能。

Mar, 2023

介绍了一种学习鲁棒视觉表示的框架，该框架能够推广到新的视点、背景和场景环境，并利用干扰因素以制造人为干预特征，从而学习更加符合基础因果关系的鲁棒表示方法。实验证明，该方法提升了多个需要超出训练分布的数据集的性能，在从 ImageNet 到 ObjectNet 数据集进行无分布推广时展现出最先进的性能。

Dec, 2020

通过简化分类模型中的目标类为每个样本本身，引入了一种新颖的表征学习方法 ——DIET，它不需要解码器或投影器网络，也不需要正样本或重构，不引入超参数，并且可以跨数据集和体系结构直接使用，其学习到的表征质量高且与现有最先进的方法相当。

Feb, 2023

提出一种新的问题，即视觉鉴别谜题（VDP），要求发现可解释的鉴别器以按照逻辑规范对图像进行分类，用组合的神经符号框架结合神经网络和符号学习器，实现机器学习模型的合并来处理高级认知任务。

Jul, 2019

提出一个新的混合模型，该模型将图推断与学习逆模型相结合，用于 Kalman 滤波器并通过交叉验证来平衡图推断和学习推断的工作量，实验表明，该模型可以比独立运行的学习或图推断更准确地估计失真的 Lorenz 吸引子的轨迹。

Jun, 2019