- MINDE: 互信息神经扩散估计
通过基于 Girsanov 定理的新方法，我们提出了一种估计随机变量之间互信息（MI）的方法。我们的方法基于分数函数的扩散模型来估计两个密度之间的 Kullback Leibler 散度，并衍生出估计随机变量熵的方法。我们的结果表明，我们的 - EntropyRank：基于侧信息优化的语言模型文本压缩的无监督关键词抽取
这篇研究论文介绍了一种无监督的方法，利用预训练的语言模型和香农的信息最大化从文本中提取关键词和关键短语。通过提取在语言模型下具有最高条件熵的短语，该方法能够解决与信息理论相关的问题，并在使用语言模型和熵编码器对文本进行压缩时，提供预期的最小 - MM图对比学习的熵神经估计
在本研究中，我们理论上证明了数据集的熵可以通过在图的不同视图之间最大化互信息的下界来近似计算，即熵由神经网络估计。基于这一发现，我们提出了一种简单而有效的子集采样策略，以对数据集的视图之间进行配对表示的对比，我们通过从给定图中随机采样节点和 - 智能的本质
通过仿真人脑，人工智能建立了具有学习能力和接近人类水平的智能任务执行能力的计算模型，同时证明了智能的本质是一系列数学功能过程，通过建立数据集之间的功能关系来最小化系统熵，并通过能量消耗的增强方式在人类和人工智能中实现。
- 利用自适应图神经网络进行交易欺诈检测
本文提出了一种基于自适应采样和聚合的图神经网络 (ASA-GNN)，通过邻居采样策略和邻居多样性度量，在交易数据中学习判别表示以提高欺诈检测的性能，实验结果表明该方法优于现有的其他方法。
- 机器学习中的黑洞和损失地貌
本文研究机器学习中的损失函数问题，发现黑洞的熵与网络中的损失函数形成类似的能量景观，提供微观描述黑洞的潜在能量景观，估算随机梯度下降能找到大部分的极小值。
- 使用前驱和后继表示的最大状态熵探索
研究了一种基于过去经验的探索学习方法，通过最大化单个轨迹的状态访问分布的熵来学习探索策略，并证明了此方法在有限样本下最大化状态覆盖的有效性。
- LLMZip：使用大语言模型的无损文本压缩
使用大型语言模型 LLaMA-7B，我们给出了一组英文熵的渐进上界估计，并基于该估计提出了一种结合大型语言模型和无损压缩方案的英文文本无损压缩算法，初步结果显示出优于 BSC，ZPAQ 和 paq8h 等现有文本压缩方案的性能。
- 基于置信度的联邦蒸馏技术应用于基于视觉的车道居中
本文提出了一种基于置信度的联邦蒸馏方法，使用熵确定每个本地模型的预测置信度，选择最有信心的本地模型作为教师，以引导全局模型的学习，从而提高自动驾驶中基于视觉的车道中心控制的性能，优于现有的联邦学习算法 FedAvg 和 FedDF。
- 自监督离散化语音表示的信息论分析
本文通过信息论的方式将每个语音学类别表示为离散单元的分布，以研究表征和离散化的语音输入与音素这样的抽象语音学类别之间的关系，并应用于两种不同的自监督模型进行研究，揭示了语音学类别的熵反映了底层语音语音变化的可变性，同时确认了这种映射的缺乏直 - PassGPT: 基于大语言模型的密码建模和（指导性）生成
本篇论文研究了大型语言模型在密码建模中的效力，介绍了一种名为 PassGPT 的大型语言模型，并在密码生成中表现出众，比起之前基于生成对抗网络的方法，猜对了两倍数量的新密码，同时，文章提出了引导密码生成的概念，利用 PassGPT 采样过程 - 使用值条件状态熵探索加速强化学习
本文提出了一种基于价值条件下的状态熵探索技术，该技术通过最大化条件价值估计的状态熵的平均值，分别估计每个状态的状态熵，再通过只考虑状态价值估计相似的访问状态来计算内在奖励，从而避免了低价值状态分布影响高价值状态周围的探索，加速了多种 RL - 面向高效内存计算的自适应输入间隔动态脉冲神经网络
当前，脉冲神经网络因其对稀疏和二元脉冲信息的处理能力以及避免昂贵的乘法操作而引起了广泛研究兴趣。然而，如果使用 In-Memory Computing（IMC）架构，SNNs 的能量成本和延迟会随时间步数线性增长。因此，为了最大化 SNN - ICLR低熵潜变量损害了越界性能
本研究讨论中间表示的熵和模型对分布变化的鲁棒性之间的关系，证实去除低熵比特可以显著提高模型在分布变化方面的表现，但去除高熵比特会不利于模型表现。
- FACE：使用交叉熵傅立叶分析评估自然语言生成
通过实验结果，本文提出了一种计算机生成语言与人类自然语言之间相似性的新方法 FACE，该方法基于熵的周期性实证研究的结果，采用傅立叶分析和交叉熵等指标度量模型生成的语言与人类自然语言之间的相似性，并在计算效率和可解释性方面都表现优异。
- 离散与连续权重的非凸神经网络中的典型和非典型解
本文研究了二进制和连续的负边缘感知器作为学习随机规则和关联的简单非凸神经网络模型，并探讨了两种模型解决方案的几何学特征。结果发现，即使在高度非约束的情况下，存在大量的极宽、极平的最小值，这有助于提高学习器的泛化性能。
- 机器学习的确定性新信息理论
提出了新概念 troenpy，用于量化概率分布的确定性，以替代熵的应用，泛用于机器学习中，尤其在文本分类和序列数据处理方面表现突出。同时定义了量子 troenpy 以量化量子系统的确定性。
- 基于负学习、熵和方差正则化的新动作类别发现
NEV-NCD 算法结合负学习、信息熵、方差正则化的方法，实现了对视频动作识别中的未标注数据的分类准确率的提升。
- 提高模型聚焦力改善基于深度学习的合成人脸检测器性能
本文探讨深度学习与人类感知相结合后，通过熵控制模型的焦点，优化模型的分类性能，提高在未知数据上的泛化能力，同时以人类引导视觉注意力为支撑的新损失函数作为控制手段，通过合理的损失函数组合，达到在合成样本检测方面的最优性能。
- 时序数据的信息论启发式模式分析
研究提出了一种基于信息论特征的高度通用的方法，用于识别和学习多变量时间序列数据中的模式和趋势。通过在人类活动数据中分析模式变化，结果表明该方法可以提高召回率、F1 分数和准确性，在平均基线模型和更简单的模型结构下，平均减少 18.75 倍的