Feb, 2024

TREET: 基于 Transformer 的传递熵估计

PDF
TL;DR提出了一种基于 Transformer 的新系统，用于估计稳态过程中的传递熵。通过使用注意力机制进行神经估计，该方法借助 Donsker-Vardhan 表示来估计传递熵，并与现有方法进行了比较，同时还设计了估计传递熵的优化方案。最后，该方法应用于实世界特征分析，并与深度学习方法相结合，为尚未解决的通信问题提供了新的解决途径。
transfer entropyestimationtransformersinformation theorydeep learning
发现论文，激发创造
  • 深度学习中的信息平面分析可视化通过传递熵

    在一个前馈网络中，可以使用传递熵（TE）来衡量一层对另一层的影响，通过在训练期间量化它们之间的信息传递。通过在输入数据中的信息量与压缩表示之间绘制图表来理解信息瓶颈方法中压缩和信息保留之间的权衡，这被称为信息平面分析。我们使用 TE 来量化神经层之间的信息传输，并进行信息平面分析以探索信息理论压缩和泛化之间的因果关系。我们获得了令人鼓舞的实验结果，为进一步研究打开了可能性。

    Apr, 2024

  • 能源效率的根本原因分析与转移熵流

    本研究提出使用传输熵（TE）进行工业系统能效的根本原因分析，通过建立一种称为 TE 流的方法来诊断能效异常状态的根本原因，并利用基于 Copula 熵的非参数 TE 估计方法进行实证研究，实验证明 TE 流方法成功识别了系统能效的根本原因。

    Jan, 2024

  • 通过转移熵加速卷积神经网络的学习

    将传输熵（TE）引入卷积神经网络（CNN）架构的学习机制，通过随机选取部分神经元对的信息传输，以实现计算开销与准确性之间的平衡。

    Apr, 2024

  • 信息传输的测量

    本研究提出一种信息论度量方法对时间演化系统间的统计相关性进行量化，通过迁移概率的适当条件化排除共同历史和输入信号对信息交换的影响，从而得到的传输熵可以区分驱动和响应元件，并检测子系统间的不对称性。

    Jan, 2000

  • 令人沮丧的易转移能力估计

    通过提出一种简单、高效、有效的量化传递学习中先前训练模型的可迁移性算法 TransRate，通过对目标任务示例进行一次遍历，度量传递性，作为预先训练模型提取目标示例特征和其标签之间互信息的方法，TransRate 在 32 个预先训练模型和 16 个下游任务的广泛评估中表现极好，从特征表示的角度评估 TransRate 评估先前训练特征的完整性及其对于每一类别的紧凑性能力。

    Jun, 2021

  • REMEDI：改进神经熵估计的纠正变换

    通过简单、自适应的基模型的最小化和相对熵的估计，REMEDI 实现了高效且准确的差分熵估计方法，提升了信息论相关任务的准确性，并且在信息瓶颈方法中表现出更好的精度。

    Feb, 2024

  • Entroformer：基于 Transformer 的熵模型学习图像压缩

    提出了一种新型的基于 Transformer 的熵模型（Entroformer），用于在图像压缩中有效地捕获远距离依赖，并通过并行双向上下文模型加速解码进程，实现了最先进的性能。

    Feb, 2022

  • 可传递信息理论及其在深度生成模型中的应用

    本文介绍了一种基于控制先验和层次结构的基于变分自编码器 (SemafoVAE) 来实现分离表示和生成高质量图像的方法。

    Mar, 2022

  • ETran: 基于能量的可迁移性评估

    本文提出了一个基于能量的可转移性评估度量 (ETran)，用于解决目标检测和图像分类中预训练模型的排名问题。ETran 通过能量得分、分类得分和回归得分来判断目标数据集对预训练模型是否为带内（IND）或带外（OOD）数据，并在分类、回归和目标检测任务上都适用，是首个提出目标检测任务的可转移性评估的研究。在四个基准测试和两个任务上的广泛实验证明，ETran 在目标检测和分类基准测试上的平均性能分别比先前的方法提高了 21% 和 12%，并在转移性评估方面达到了最新的成果。

    Aug, 2023

  • 物流、图形和变形器：改进旅行时间估计

    本文提出基于转换器架构 - TransTTE 的新方法来解决交通运输中旅行时间估计问题。

    Jul, 2022