通过进行心理物理实验，研究表明对于肉眼视觉更为友好的对抗鲁棒网络学习的表征比非对抗鲁棒网络更能够捕捉到外周计算，而这种外周计算与人类视觉中基于纹理的表征更加匹配，这种结论提供了在深度神经网络中引入类似的表征可带来诸如对抗鲁棒性等有用的性质的可能性。

Feb, 2022

研究引入了自然神经网络，旨在通过调整内部表示来加速收敛并改善 Fisher 矩阵的条件。使用简单高效的参数重整方式，从而能够保留神经网络的正向传播计算。研究表明，通过提出的投影自然梯度下降算法 (PRONG)，这种神经网络能够高效地训练；研究同时在无监督和监督学习任务上证明了该方法的优点，并通过对大规模 ImageNet Challenge 数据集的训练显示了其可伸缩性。

Jul, 2015

本文研究了神经网络在模拟神经电路的结构和功能方面的表现，通过对啮齿动物和果蝇的头部定向系统进行的研究，证明了神经网络可以自然地产生指南针神经元和移位器神经元等不同类别的神经元，其结果表明，人工神经网络可用于在神经活动和解剖组织层面上研究大脑。

Dec, 2019

本文研究模仿灵长类动物视觉系统中的神经表征可以产生对抗性稳健的人工视觉系统的想法。通过攻击猴子脑活动的方法，发现猴子的视觉系统对抗扰动的敏感度与稳健训练的人工神经网络相当。

Jun, 2022

本文探讨了一种更具生物学可行性的深度表示学习方法，通过一种基础学习规则（即基于突触权重更新的时序相关型可塑性）引出一种机器学习的梯度下降算法，利用神经元动态学实现了近似的变分 EM 算法，提出了使用去噪自编码器实现梯度的方法，并将其在生成学习任务上加以验证。

Feb, 2015

在这项工作中，我们探讨了表示学习和解释所学的表示在机器学习和神经科学中的关键领域，并发现了表示与计算之间一些令人惊讶的脱节现象，这可能对相关工作构成挑战。我们通过创建数据集来匹配不同特征的计算角色，并操纵特征或数据的其他属性。我们训练各种深度学习架构以计算这些关于输入的多个抽象特征，并发现他们学到的特征表示在表示一些特征时存在系统性的偏倚，这些偏倚依赖于特征的复杂性、特征学习的顺序和特征在输入中的分布。同时我们还探索了这些偏差对体系结构、优化器和训练方案的影响。这些结果有助于描述基于梯度的表示学习的归纳偏差，同时突出了理解性或对比模型和大脑之间表示的关键挑战，即区分系统内部表示的外部偏差和计算上重要的方面。

May, 2024

本文提出了一种基于伪核的新工具，用于分析和预测网络学习到的表示，通过验证其在简单测试案例上的使用，本文论证了该方法可预测权重初始化和训练计划对表示学习和下游并发多任务执行表现的影响。

Jul, 2023

本研究表明，鲁棒优化可以被重新定义为对深度神经网络学习特征的先验约束，经过鲁棒模型学习的特征表示方法能够解决标准神经网络表示方法的缺陷，并显著提高了高水平的输入编码能力。同时，这些特征表示方法具有相对可逆性，允许直接可视化和操纵输入的显著特征，提示使用对抗性鲁棒性来改善学习表示方法的可行性。

Jun, 2019

在具有卷积神经网络的目标识别方面取得了巨大成功的同时，它们难以辨识出带有不同类型常见噪音模式的图像中的对象。最近的一项研究表明，在模拟 CNN 前端的早期视觉区域中的计算将提高对图像破坏的鲁棒性，本文进一步探讨了这一结果，并显示精确匹配灵长类 V1 区中发现的 RF 特性分布所产生的神经元表示对于这种鲁棒性改进至关重要。我们构建了两种变体的模型，其中前端模型模拟了灵长类的视觉皮层（V1）：一种是均匀采样 RF 特性，另一种是采样自生物实验分布。具有生物采样的模型对图像破坏具有较高的鲁棒性（相对差异为 8.72%）。虽然两个变体之间的类似神经元亚种群具有相似的响应特性，并学习相似的下游权重，但对下游处理的影响却截然不同。这个结果揭示了一些仿生模型鲁棒性改进的原因，指向了精确模仿在灵长类大脑中发现的神经元表示的必要性。

Oct, 2023

生物和人工信息处理系统形成世界的表示，以用于分类、推理、规划、导航和决策。研究这些不同系统形成的表示在多大程度上一致？不同的表示是否仍然可以导致相同的行为？系统如何修改其表示以更好地匹配另一个系统的表示？研究表示对齐的这些问题是当代认知科学、神经科学和机器学习最活跃的研究领域之一。为了改善不同领域之间的沟通，我们提出了一个统一的框架，可以作为研究表示对齐的研究人员之间的共同语言。我们从认知科学、神经科学和机器学习领域的文献中进行综述，并展示了以前的工作如何适应这个框架。最后，我们提出了在表示对齐方面的开放问题，进展可以使这三个领域受益。我们希望我们的工作能够促进跨学科合作，加速所有研究和开发信息处理系统的社区的进步。请注意，这是一篇工作论文，欢迎读者提出他们对未来修订的建议。

Oct, 2023