研究关系瓶颈对因式表示学习和处理灵活性的影响，并证明该瓶颈不仅改善了泛化和学习效率，而且与人类行为偏差相一致，从而促进了抽象表示的产生，使处理灵活性类似于符号。

Feb, 2024

本研究探讨了在深度学习中通过将关系和感觉信息分隔，以及引入归纳偏差来改善系统的推理性能，并提出了基于相似性分数的简单架构 -- Compositional Relational Network (CoRelNet), 增强了模型的鲁棒性，提高了关系计算的分布外泛化能力。

Jun, 2022

本研究探讨当下深度学习系统在处理物体分类、语言处理及游戏上表现出色，但却不能构建或修改建筑块等复杂系统，我们认为这是由于这些系统缺乏 “关系归纳偏置”，即一种可以推理物体间关系并根据场景结构作出决策的能力。本文研究了涉及胶合引起的稳定的建塔任务，通过引入一个使用物体及关系中心的视觉与策略表达方式的深度强化学习代理来验证该假设。结果表明，这些结构化的表达方式允许代理赢过人类及其他机器学习方法，这表明关系归纳偏置对于解决结构化推理问题及构建更智能、灵活的机器是重要组成部分。

Jun, 2018

使用信息瓶颈（IB）原理分析深度神经网络（DNN）的信息流，并得到 DNN 的理论极限及有限样本泛化的上限，同时探讨了网络的优化模型，层数和特征 / 连接与信息瓶颈权衡中的分叉点的关系，其中对应了网络层级结构上的结构相变。

Mar, 2015

该论文介绍了信息瓶颈理论作为一种信息理论范例来分析机器学习中使用深度学习等算法进行降维操作的有效性，并总结了其在深度学习理论中的重要性和实际算法的启示。

Apr, 2020

本文主要讨论信息瓶颈问题，包括如何解决它、与编码和学习方面的联系，以及其对分布式信息瓶颈问题和高斯模型的扩展。同时探讨其与自动编码器、表征学习、变分推断和通用重建等方面的紧密联系。

Jan, 2020

本文研究了深度神经网络的特征表示瓶颈，从输入变量在 DNN 中编码的交互复杂性的角度进行探讨，发现 DNN 更可能编码过于简单和过于复杂的交互，并且通常无法学习中等复杂度的交互。该现象被称为特征表示瓶颈，本文从理论上证明了其根本原因，并提出了一种损失函数来促进或惩罚特定复杂度的交互的学习，并分析了不同复杂度交互的表示能力。

Nov, 2021

本研究旨在比较和统一先前提出的信息瓶颈原则中的多个竞争目标，并开发更友好的替代目标，以便将信息瓶颈应用于现代深度神经网络结构，无需依赖于像密度估计这样的繁琐工具。研究结果可以在现代 DNN 结构（ResNets）上展示。

Mar, 2020

本研究对信息瓶颈理论的应用进行了探讨，通过引入辅助函数和采取新的理论立场，解决了该理论在深度学习网络中的应用问题，并解释了 ReLU 激活下归零情形的信息瓶颈机制，从而提供了一种新的解读深度学习网络内部组织的方法。

May, 2023

本文研究了如何平衡效用、信息的有效性和复杂性，从而塑造新兴的通信，并将其与人类通信进行比较。我们使用 VQ-VIB 方法训练神经代理来压缩输入以获得离散信号，从而比以往的神经体系结构在其性能方面更具优越性，并发现惩罚交际复杂性可以维持高效用的同时维持类似人类的词汇量。此外，我们还发现，VQ-VIB 优于其他离散通信方法。

Jun, 2022