Jun, 2022

基于信息瓶颈原理的人 - 代理通信

PDF
TL;DR本文研究了如何平衡效用、信息的有效性和复杂性，从而塑造新兴的通信，并将其与人类通信进行比较。我们使用 VQ-VIB 方法训练神经代理来压缩输入以获得离散信号，从而比以往的神经体系结构在其性能方面更具优越性，并发现惩罚交际复杂性可以维持高效用的同时维持类似人类的词汇量。此外，我们还发现，VQ-VIB 优于其他离散通信方法。
发现论文，激发创造
  • 边缘推理中学习面向任务的通信：一种信息瓶颈方法

    本文提出了一种基于学习的通信方案，综合优化特征提取，源编码和信道编码，采用变分信息瓶颈框架构建可行的上界，使用稀疏诱导分布作为变分先验，提高边缘设备和强大边缘服务器的传输性能和速度。

    Feb, 2021

  • 具有动态向量量化的自适应离散通信瓶颈

    本研究提出了一种基于动态选择离散化紧密度的方法，通过调整 VQ 方法中的码本大小和离散码数来实现，以应对数据中的复杂性差异，这种方法可在视觉推理和强化学习任务中提高模型性能。

    Feb, 2022

  • 紧急量子化通信

    本研究提出了一种利用消息量化实现离散通信的方法，可以实现优于其他基于强化学习算法或 Gumbel-softmax 的连续逼近的多种设置下的性能，并为深度学习时代下的多代理通信提供更广泛的视角。

    Nov, 2022

  • 深度变分信息瓶颈

    本文提出 “Deep Variational Information Bottleneck” 方法，通过可变分近似来将信息瓶颈模型参数化，使用神经网络和重新参数化技巧进行高效训练。结果显示，使用 VIB 优化训练的模型在泛化性能和对抗攻击鲁棒性方面优于其他正则化方法。

    Dec, 2016

  • 学习高效的多智体通信：信息瓶颈方法

    研究了在有限带宽传输的情况下，多智能体强化学习所需的有效通信协议和分配方法，并基于信息瓶颈原则学习了一种有价值的、紧凑的通信协议及其权重调度策略。通过实验，证明了这种方法在有限的带宽条件下实现了有效通信。

    Nov, 2019

  • 学习使用非参数化变分信息瓶颈进行抽象

    本论文介绍了一种能够学习在同一模型的不同层次进行不同抽象级别压缩的语言表示模型，并通过在编码器的堆叠 Transformer 自注意力层中应用非参数变分信息瓶颈 (NVIB) 来促进表示的信息理论压缩。论文发现模型内的不同层次对应于不断增加的抽象级别，并且它们的表示更具有语言学信息。最后，实验证明 NVIB 压缩能够产生更具鲁棒性的模型，面对对抗性扰动更加稳健。

    Oct, 2023

  • 使用深度变分信息瓶颈方法解释黑盒

    本研究提出了一种系统无关的解释模式，即采用信息瓶颈原理作为准则来寻找在简洁性和全面性方面都具备的关键特征，并在三个数据集上评估了其可解释性和保真度。

    Feb, 2019

  • 利用变分信息瓶颈压缩神经网络

    该论文研究了如何通过修剪神经元、信息瓶颈和稀疏正则化等方式来压缩神经网络模型，提高模型的精度和运行效率。在多个数据集和网络架构中展示了最先进的压缩率。

    Feb, 2018

  • 深度学习与信息瓶颈原理

    使用信息瓶颈（IB）原理分析深度神经网络（DNN）的信息流，并得到 DNN 的理论极限及有限样本泛化的上限，同时探讨了网络的优化模型，层数和特征 / 连接与信息瓶颈权衡中的分叉点的关系，其中对应了网络层级结构上的结构相变。

    Mar, 2015

  • 检索增强生成中有效的噪音过滤的信息瓶颈视角

    检索增强生成结合了大语言模型的能力和从广泛语料库检索到的相关信息，但在面对现实世界的噪声数据时面临挑战。本文提出将信息瓶颈理论引入检索增强生成，通过同时最大化压缩和生成结果的互信息，最小化压缩和检索到的内容之间的互信息，实现对噪声的过滤。实验结果表明，我们的方法在各种问答数据集中取得显著的改进，不仅在答案生成的正确性方面，而且在 2.5% 的压缩率下的简洁性方面也有明显提升。

    Jun, 2024