我们通过调整表示分布的熵，训练神经模型生成一系列离散表示，并在微调实验中展示了将表示调整到任务适当复杂度水平支持最高微调性能，并通过离散表示的可视化帮助用户在下游任务中识别适当的复杂度水平，这为利用人类洞察力快速微调模型指明了一个有希望的方向。

Oct, 2023

通过分析深度线性网络中的非线性动态，我们找到了确切的解决方案，从而解释了语义认知中许多不同现象的普遍性，包括概念的分层差异、语义错觉、项目典型性和类别一致性的出现，以及发展过程中归纳投射模式的变化，以及跨物种的神经表示中语义相似性的保持。

Oct, 2018

该研究论文探讨了文化进化理论对于解释深度学习成功的重要性，认为深度学习中的重要创新可以被视为发展上的约束，而文化进化可作为解决方法来提高发展的效率和创新的生成率。

May, 2022

这篇论文提出了一种受到神经科学和自监督深度学习最新进展启发的学习规则，使用局部，赫布规则进行权重更新，并具有深度分层的图像、语音和视频表示。

Oct, 2020

我们通过对于耦合的人工神经网络系统中集体学习的出现进行解析，引入了一个最小模型，通过考虑每个神经网络单元参数的本地学习动态和单元之间的扩散耦合之间的竞争来凝结几个最近的分散算法。

Oct, 2023

本文考虑在神经科学和机器学习之间建立联系，提出脑部通过优化各式各样的代价函数来实现数据高效学习和定向行为，其中包括关注、递归等结构体系和各种形式的短时和长时记忆存储，作者提出了未来神经科学试图改进和检验这些假设的方向。

Jun, 2016

本文提出了一个假设，认为人类和动物的智能可以由少数原则解释，这些原则可以帮助我们建立灵活、具有系统化泛化能力的人工智能系统，从而弥补当前机器学习与人类智能之间巨大的差距，并提供 AI 研究和神经科学理论的灵感来源。

Nov, 2020

最近的研究揭示了在深度学习中的一些有趣的现象，如 grokking、双下降和大型语言模型的新兴能力，这些现象挑战了人类的直观理解，对于更深入地理解神经模型至关重要。本文提出了一个全面的框架，提供了对这些现象的统一观点，着重于记忆和概括电路之间的竞争。我们的方法首先用于解释 grokking，并在我们的工作中扩展到更广泛的模型尺寸和训练数据量范围。利用这个框架，我们对双下降现象进行了详细分析，并提出了两个关于其出现的可验证预测，这两个预测都得到了我们的实验结果的证实。此外，我们将我们的框架扩展到多任务学习范式，展示了如何将算法任务转化为新兴能力，为理解大型语言模型中的新兴能力提供了一种新的视角。

Feb, 2024

本研究旨在回答什么是孕育文化演化所需的最小认知结构，通过人工智能代理的实验结果表明，具备目标导向、社交亲近和路线记忆的个体，在社交学习中存在类似于鸽子的文化演化和优化的现象。

Jun, 2022

通过仿真人脑，人工智能建立了具有学习能力和接近人类水平的智能任务执行能力的计算模型，同时证明了智能的本质是一系列数学功能过程，通过建立数据集之间的功能关系来最小化系统熵，并通过能量消耗的增强方式在人类和人工智能中实现。

Jul, 2023