通过最大化有效信息来学习宏观动力学模型，进而捕捉和量化数据中的因果性出现模式，并展示了模型在模拟和真实数据上的有效性和优良的泛化能力。

Aug, 2023

从高维数据（例如图像）中学习概念对于构建与人工智能模型相符且可解释的机器学习模型具有潜力。本研究通过将概念形式化为离散潜在因果变量，并使用嵌入在高维数据中的概念的层次因果模型来提供理论洞见与条件，以促进从无监督数据中学习这些概念的可行性。通过合成数据实验证实我们的理论观点，并讨论了对理解潜在扩散模型的潜在机制的影响，同时提供了相应的经验证据。

Jun, 2024

现代生成式机器学习模型展示出令人惊讶的能力，能够创造出超越其训练数据的逼真产出，如逼真的艺术作品、精确的蛋白结构或对话文本。这些成功表明生成模型学会了有效地参数化和采样任意复杂的分布。本文旨在将经典作品与大规模生成统计学习中的新兴主题联系起来，包括经典吸引子重构、隐空间模型中的潜在表示学习等。还介绍了早期利用符号近似进行比较的努力，与现代努力进行黑盒统计模型的精简和解释相关。新兴的跨学科研究桥接了非线性动力学和学习理论，如用于复杂流体流动的算子理论方法，或者检测生物数据集中打破了详细平衡的情况。我们预计未来的机器学习技术可能会重新审视非线性动力学中的其他经典概念，如信息传输衰减和复杂性 - 熵权衡问题。

Nov, 2023

利用深度网络，基于概念分类器通过梯度下降的训练，我们提出通过观察概念的矩阵统计特征来生成其具体表示或特征签名，进而发现概念集合之间的结构，并通过学习这些特征签名的结构递归生成更高级的概念。当概念相交时，利用概念的特征签名可以找到一种共同主题，并可用于建立概念字典，从而使输入正确识别和路由到参与生成输入的概念集合。

Oct, 2023

通过用概念向量探测和激活推断期间的激活来引导隐藏表示，该论文将概念引导的研究拓展到诸如适应性、幽默、创造力和质量等更丰富的概念，探索现有检测和引导策略在这些挑战性环境中的工作程度，同时开发了一种新的以概念引导为度量的指标来评估，研究显示，一些概念如真实性相对容易通过现有技术进行引导，而适应性或幽默等新概念则更难探测和引导，并需要进一步调整。

Feb, 2024

通过对条件扩散模型的控制实验研究，我们发现生成模型在组合推理任务上的性能是突然出现的，其组合能力取决于底层数据生成过程的结构，并在生成非分布样本时需要更多的优化步骤。

Oct, 2023

使用 Cognitive Interpretability 框架分析 GPT-3.5 + 模型的 in-context 学习动态，发现其具备生成伪随机数和学习基本形式语言的新能力，有着从伪随机行为到确定性重复的显著 in-context 学习特性。

Oct, 2023

本文提出两种方法：多重假设检验和交互式可视化，来引导用户发现有意义的概念，通过模拟实验和真实数据的演示可视化，发现这些技术能够在无法预定义描述有意义概念的情况下为用户发现有关概念提供有前途的策略，但不完全自动化该过程。

Feb, 2022

该论文提出一种后期无监督方法，通过分解和聚类方法，自动发现深度学习模型中的概念向量，从而支持可解释性分析，可以成功鉴别与疏离数据有关的训练样本

Jul, 2023

通过证明 AI 模型对不同交互概念的输入输出方式的映射，本研究试图证明，大多数 AI 模型可使用少数交互概念来在任意遮掩样本上模拟模型输出。

May, 2023