Jun, 2024

用于最小熵估计的机器学习预测器

PDF
TL;DR该研究探讨了机器学习预测在随机数生成器（RNGs）的最小熵估计中的应用，此为密码学应用的关键组件，准确的熵评估对于网络安全至关重要。研究结果表明，这些预测器主要估计平均最小熵，这是这一领域中未被广泛研究的指标，并通过研究平均最小熵与传统最小熵之间的关系，重点关注它们对目标位数的依赖性。通过利用广义二进制自回归模型的数据，展示了机器学习模型（包括卷积和循环长短期记忆层的混合模型以及基于 Transformer 的 GPT-2 模型）在某些情况下优于传统的 NIST SP 800-90B 预测器。我们的研究结果强调了对 RNGs 进行最小熵评估时考虑目标位数的重要性，并突显了机器学习方法在增强熵估计技术以提升密码学安全性方面的潜力。
machine learning predictorsmin-entropy estimationrandom number generatorsaverage min-entropyentropy assessment
发现论文，激发创造
  • 通过条件熵估计进行回归问题的可预测性分析

    传统的回归问题中，模型准确性一直以来是一个模糊的问题，本研究引入条件熵估计器来评估回归问题中的可预测性，尤其是 KNIFE-P 估计器和 LMC-P 估计器，在合成和真实数据集上的广泛实验表明了它们的鲁棒性和实用性，为回归模型的开发提供了有价值的工具。

    Jun, 2024

  • 机器学习中的熵

    本论文将计算二进制配置 / 信号熵的问题转换为一系列有监督的分类任务，使用机器学习分类算法计算熵，并直接从给定温度下的一组蒙特卡洛配置计算自由能，进而重现了 2D 伊辛模型的熵和自由能，并可以应用于计算尖峰神经元或任何其他多维二进制信号熵。

    Sep, 2019

  • 基於 GPT-2 注意力模式的熵和距離預測器，預測閱讀時間超過 GPT-2 驚奇值

    本文探讨了 Transformer-based 大型语言模型的自我注意力机制在认知建模领域中的作用，提出了基于熵和距离的预测器，并证明了在使用与 GPT-2 语言模型相关的数据进行回归实验时，距离预测器相较于基于 surprisal 的预测器有更高的预测能力。

    Dec, 2022

  • 比赛在线预测中的度量熵

    本文讨论了使用度量熵进行竞争性在线预测的直接方法及其在竞争预测中的优势和局限性，包括与其他方法的比较。度量熵为竞争性在线预测提供了统一的框架，各种紧凑集合在函数空间中的度量熵的上限估计很容易转化为竞争性在线预测策略的性能边界。

    Sep, 2006

  • 预测不确定性的模型无关变量重要性：一种基于熵的方法

    这篇论文介绍了如何将解释性方法扩展到具有不确定性意识的模型中，并演示了如何通过这些方法深入理解模型行为、特征对预测分布熵和真实标签对数似然的影响，以及不确定性来源对模型性能的影响。

    Oct, 2023

  • 改进交叉熵估计器的无似然推断

    通过利用神经网络作为概率无关推断的代理模型，使用隐式生成模型或模拟器提供的联合概率比和联合得分来增强这些代理模型的训练数据，提出了一种新的交叉熵估计器，与之前利用增强训练数据的损失函数相比，该估计器提供了更好的样本效率。

    Aug, 2018

  • 引入一种改良的信息论预测不确定性度量

    应用机器学习模型进行决策需要区分模型所知与不知的内容。本文提供新的洞见，揭示当前预测不确定性度量的局限性，并引入了一种理论上可靠的度量方法来克服这些局限。实验证明，我们引入的度量方法在控制的合成任务中表现得更加合理，并且在利用预测不确定性的实际应用中具有优势。

    Nov, 2023

  • Merino: 基于熵驱动的生成式语言模型设计以应用于物联网设备

    我们提出了一种新颖的信息熵框架，用于设计面向移动设备的生成式语言模型。我们通过最大化给定计算预算内的 Transformer 解码器的熵来进行关键设计，从而在数分钟内在 CPU 上解决数学规划问题，几乎为零成本。我们评估了我们设计的模型 MeRino，在九个 NLP 下游任务中展示了它们在移动设置下与最先进的自回归 Transformer 模型竞争的性能。值得注意的是，MeRino 在 NVIDIA Jetson Nano 上的速度是 350M 参数 OPT 的 4.9 倍快，模型大小减小了 5.5 倍，但具有类似或更好的零性能。代码将很快提供。

    Feb, 2024

  • 自适应熵估计

    本研究针对离散分布 P 进行 n 个独立同分布样本的香农熵估计，使用逼近理论法进行估计，实现了在估计熵的最小二乘率方面的极致。通过采用自适应估计框架，该方法相对极小值优化估计方法在分布 P 的嵌套子序列上实现了最小二乘率的估计，从而进一步证明了估计在样本 n 的情况下是最优的，并且基本上相当于 MLE 使用 nlnn 个样本进行估计。

    Feb, 2015

  • 基于能量模型的最大熵生成器

    使用神经生成网络学习能量函数和一种分摊求近似（amortized approximate）的采样机制，结合最近提出的非参数互信息估计器来最大化生成样本的熵，使用必要条件从分数匹配（score matching）文献中衍生出的零中心梯度惩罚来稳定生成的对抗游戏。该技术可以生成与最新的生成对抗网络技术竞争的清晰图像，不会出现模式崩溃，并且在异常检测方面具有与现有技术相媲美的竞争力。

    Jan, 2019