研究了一个自然语言处理人工系统中句子的表征，分析表明存在一些启发式策略，通过训练分布，这些系统可以学习抽象规则并将其推广到新的环境中，但也存在一些推广行为上的缺陷。

Sep, 2019

通过研究小规模 transformer 在重建部分遮蔽的简单蓝图可视场景方面的内在机制，我们发现网络发展了一种包含数据集的所有语义特征的中间抽象表示或抽象，这些抽象表现为低维流形，其中语义相关令牌的嵌入短暂地收敛，从而实现了对下游计算的泛化。我们还引入了一种语言增强架构（LEA），旨在鼓励网络表达其计算过程，发现 LEA 发展了一种易于解释的以抽象为中心的语言，使我们更容易访问和指导网络的决策过程。

Dec, 2023

本研究在分析人类和神经网络在元强化学习范式中通过定抽象特征区分任务表现的差异，其中构建了一种新方法 “任务合成体”，其具有相似的统计特征但使用不同的基础生成过程。结果表明，人类在抽象任务上表现比任务合成体更好，而常见神经网络架构在抽象任务上的表现比匹配的任务合成体更差。

Apr, 2022

人类对抽象结构的识别和操作能力十分出色，尤其在几何领域中显得更为明显。最近的认知科学研究表明，神经网络并没有共享这种能力，得出结论认为人类的几何能力来自人类心智表示中的离散符号结构。然而，人工智能领域的进展表明，经过标准架构的扩展模型规模和训练数据量后，神经网络开始表现出更类似人类推理的能力。在本研究中，我们重新审视认知科学对几何视觉处理的实证结果，并确定了几何视觉处理中的三个关键偏见：对复杂性、规律性和部分与关系的感知敏感性。我们测试了从文献中探索这些偏见的任务，并发现在人工智能中使用的大型预训练神经网络模型表现出更类似人类的抽象几何处理能力。

Feb, 2024

我们通过研究任务调整如何影响预训练的 Transformer 用于神经编码，并确定了对大脑激活模式有最高预测能力的任务类型，展示了通过 prompt-tuning 生成的监督表示比传统的微调在四个任务上更好地预测对中文刺激的神经反应。此外，我们还揭示了经过微调的模型的调整参数比例对神经编码性能的影响。总体而言，我们的实验结果有助于更好地理解监督人工和脑语言表示之间的关系。

Oct, 2023

研究关系瓶颈对因式表示学习和处理灵活性的影响，并证明该瓶颈不仅改善了泛化和学习效率，而且与人类行为偏差相一致，从而促进了抽象表示的产生，使处理灵活性类似于符号。

Feb, 2024

本文旨在研究用结构性表示学习的方法，具体分为解缠结表示与面向对象表示两个方向，以实现从非结构化数据中提取潜在结构信息的目的，同时还探讨了该方法对预训练表示和下游任务泛化能力的提升以及其对于大规模数据的高效表征学习的应用。

Apr, 2023

人类和深度神经网络在图像分类领域进行了许多行为比较的最新研究。我们报告了如何在人类观察者和各种经典和最先进的深度神经网络中获取可迁移表示的详细调查结果。发现表明，就绝对分类性能而言，深度神经网络展示了与人类学习者相媲美甚至超过的数据效率水平，挑战了该领域的一些主流假设。然而，整个学习过程中的比较揭示了显著的表征差异：深度神经网络的学习过程具有明显的泛化滞后，而人类似乎立即获得可泛化的表示，无需预备性学习训练集特定信息，这些特定信息只在之后被转移到新数据上。

Feb, 2024

通过比较 prompt-tuning 和 fine-tuning 的表示，在神经解码方面，我们发现对于 10 个自然语言理解任务，prompt-tuning 优于 fine-tuning，表明更符合大脑的调节方法获得的表征与脑部数据更相关。此外，我们发现与其他任务相比，处理细粒度概念意义的任务在解码大脑激活模式方面表现更好，尤其是句法分块任务，这表明在表示语言时，我们的大脑编码了更多细粒度的概念信息而不仅仅是浅层句法信息。

Oct, 2023

在现代架构上，使用随机梯度下降算法训练模型可以更好地了解抽象概念，但仍然需要不断交互和验证以理解物理概念，并通过控制数据采集过程获得积极的观察结果。然而，使用有限的资源和时间将物理实体绑定到数字身份是解决信号到符号障碍问题的一个潜在方法，但需要不断的验证和咨询。

Jul, 2022