提出了一种基于infomax原理的框架，可实现对大规模神经群体进行无监督学习。该方法使用基于渐近的方法来对大规模神经群体的信息论下限进行计算，通过渐进性的不断往全局信息论最优解靠近的过程，可以获得一个很好的初始值。基于该初始值，提出了一个高效的算法来从输入数据集中学习特征表示，并且该方法适用于完备、过完备和欠完备情况下的基函数。和现有的方法相比，该算法在无监督表示学习的训练速度和鲁棒性方面都具有明显的优势，而且还可以轻松地扩展到用于训练深层结构网络的监督或无监督模型。

Nov, 2016

本文提出一种基于信息论的学习鲁棒性深度表示的新颖目标函数，通过将数据投影到特征矢量空间，最大化相对于监督信号的所有特征子集的互信息，得到鲁棒表示，其对噪声或不可用特征的信息保留能力较强，我们利用一种替代目标函数最小化的方式实现此目标函数并进行实验验证。

May, 2019

本文提出了关于深度神经网络所学习的可用信息的概念，并用它来研究训练过程中如何生成最佳任务表示。我们展示了使用高学习率和小批量大小的随机梯度下降算法进行训练所产生的隐式正则化在学习任务的最小充分表示方面扮演着重要角色。在产生最小充分表示的过程中，我们发现表示内容在训练期间动态变化。特别是，我们发现在最初的瞬态训练阶段编码了在语义上有意义但最终无关紧要的信息，然后在后续被丢弃。此外，我们评估了扰动训练初始阶段对学习动态和产生的表示的影响。我们在受到神经科学文献启发的感知决策任务以及标准图像分类任务中展示了这些效应。

Oct, 2020

本研究利用多视角设置引入对比的多视图信息瓶颈目标训练深度强化学习代理程序，从而可以学习到能够保留任务相关信息但压缩掉任务不相关信息的强大的表示，进而训练出具有鲁棒性和泛化性的高性能政策。

Feb, 2021

运用多任务学习方法使深度神经网络对图片失真有着较好的鲁棒性，研究结果表明，从灵长类的视觉皮层中提取归纳偏见，使神经网络更类似于人类视觉系统，提高了其在面对失真问题时的效率。

Jul, 2021

提出一种改进目标函数的模型化强化学习算法，通过互信息最大化来学习视觉模型化强化学习的表示和动力学，并将与行动相关的信息优先考虑，同时提高探索速度和样本效率。在视觉机器人控制任务上进行了评估，表明该方法比基于模型的先进RL方法具有更高的性能和采样效率。

Apr, 2022

本文研究了如何在稀疏交互的情形下，通过学习从感官输入中生成世界模型的方法，提高在具有许多物体的环境中的运动样本效率。我们提出了一种称为变分稀疏门控的潜在动力学模型和简化架构，并在具有大量移动对象和部分可观测性的BringBackShapes环境中进行了评估，表明这种方法可以优于之前的模型。

Oct, 2022

对于感知任务而言，默认的ERM的隐含归纳偏差偏向于最大化边界学习模型，该偏差通过鼓励均匀边界解决方案可以消除shortcut学习，并在视觉和语言任务中证明更好的归纳偏差可以消除费时的两阶段shortcut缓解方法。

Aug, 2023

建立在生物学原理的基础上，我们提出了关联变压器（AiT），它通过引入显式记忆形成注意力瓶颈，并在共享工作空间和关联记忆中形成吸引子，从而在不同视觉任务中展示出了比Set Transformer、Vision Transformer和Coordination等方法更好的性能。

Sep, 2023

基于SAM的训练动力学，我们提出了扰动遗忘的新观点，以解释SAM的学习信号对泛化性能的改进，我们的结果表明，SAM的好处可以通过一种不需要损失函数平坦性的替代机制原理来解释。

Jun, 2024