shannon entropy | BriefGPT - AI 论文速递

关键词shannon entropy

搜索结果 - 19

ClaudesLens：计算机视觉模型中的不确定性量化
人工智能决策中的不确定性量化通过提出的 PI 和 PSI 度量可以揭示计算机视觉模型预测的不确定性，表明香农熵在人工智能的最新方法中可能扮演重要角色。
PDF16 days ago
通过香农熵和粗糙集理论的集成推广机器学习评估
本研究旨在通过将 Shannon 熵与粗糙集理论相结合，提供一种创新的方法来推广机器学习评估方法。该综合框架将粗糙集理论的粒度与 Shannon 熵的不确定性量化相结合，应用于一系列机器学习算法，旨在不仅评估预测性能，还揭示数据的内在结构和
PDF3 months ago
迈向语法显著不同的语言的量子机器翻译
本研究在噪声中间规模量子（NISQ）设备上探索了使用量子自然语言处理算法进行语言翻译的可行性。我们采用香农熵来展示旋转门的适当角度在参数化量子电路性能中的重要作用，并利用这些角度（参数）作为不同语言的量子电路之间的通信方式，最终通过经典神经
PDFa year ago
复杂数据集的基础缩放规律和普适性统计结构
本文使用统计物理学和随机矩阵理论，探究出现在真实和人造数据集中的普遍特征，发现特征 - 特征协方差矩阵的本地和全局特征值在数据规模方面存在着重要差异，而 Shannon 熵则与局部 RMT 结构和特征值尺度有关，并且与强相关数据集相比于无相
PDFa year ago
基于决策论熵的贝叶斯优化泛化
本文提出一种基于 Sherman 逻辑的不确定性泛化度量，将它应用到贝叶斯优化中来表征不确定性，从而解决了当前信息理论 BO 算法无法考虑后续过程的问题，并且提出一个以此为基础的灵活的获取函数家族。最后，作者还开发了一种基于梯度的方法来高效
PDF2 years ago
ICLR利用自我加强的随机过程建模新兴词汇的形成
介绍了 FiLex，这是一种自我加强的随机过程，可以模拟语言实验中的有限词汇。FiLex 的核心特性是它是一种自我加强的过程，类似于一个词在语言中使用的越多，它的使用就会越多的直觉。FiLex 作为一个理论模型，既可以解释又可以预测新兴语言
PDF2 years ago
基于香农熵的知识文档分类
本文提出了一种基于 Shannon 熵的文档分类模型，该模型采用丰富信息和均匀多样的关键词匹配，在无需任何正样本的情况下提供了一种简单且可解释的解决方案，并展示了 Shannon 熵显著提高了召回率的能力。同时，该模型还表现出更强的鲁棒性和
PDF2 years ago
ACL估计语言分布的熵
本文研究了 Shannon 熵在语言学任务中的应用，重点关注从可观察的语言数据中估算熵的效果，并通过两个信息论语言学研究的复制实验发现，由于过度依赖不良熵估算器，报告的效应大小被高估了。最后我们提出了针对不同类型分布和数据可用性的熵估算建议
PDF2 years ago
随机排列集的最大熵
本研究提出了随机置换集（RPS）的最大熵原理，并通过数值实验验证，结果表明最大熵的 RPS 与最大邓（Deng）熵和最大香农熵相容。当排列事件中元素的顺序被忽略时，RPS 的最大熵将退化为最大邓熵；当每个排列事件被限制为仅包含一个元素时，R
PDF3 years ago
快速批次核范数极大化和极小化在鲁棒域自适应中的应用
本文提出了一种通过最大化目标输出矩阵的核范数和最小化源输出矩阵的核范数来提高区分能力和多样性的方法，以增强目标预测能力并提高源领域知识的适用性。这种方法可以在三种典型的领域适应方案下提高适应的准确性和稳健性。
PDF3 years ago
CVPR无元学习的小样本分割：良好的瞬态推理是否足以胜任？
本文研究了在执行几次分割任务中进行推理的方式对性能产生了重要影响，并介绍了一种对查询图像进行转导推理的方法，通过优化包含交叉熵、Shannon 熵和 KL 散度规则的新损失函数，实现了具有竞争力的性能，尤其适用于 1-shot 场景以及基于
PDF4 years ago
信息论简介
该研究简要介绍了经典和量子信息理论中的基本概念，例如 Shannon 熵，von Neumann 熵，互信息等，并在量子情况下考虑一些更详细的主题。
PDF6 years ago
熵的 Wasserstein 连续性与干扰通道外界
在合适的正则条件下，表明差分熵和 (离散) Shannon 熵分别是关于二次 Wasserstein 距离和 Ornstein 的 $ar d$- 距离的分布的 Lipschitz 函数，结合 Talagrand 和 Marton 的运输
PDF9 years ago
自适应熵估计
本研究针对离散分布 P 进行 n 个独立同分布样本的香农熵估计，使用逼近理论法进行估计，实现了在估计熵的最小二乘率方面的极致。通过采用自适应估计框架，该方法相对极小值优化估计方法在分布 P 的嵌套子序列上实现了最小二乘率的估计，从而进一步证
PDF9 years ago
通过最佳多项式逼近，在大字母表上最小化熵估计率
在独立样本的基础上，通过多项式逼近构建最优估计器并证明了最小均方误差与自然对数的平方存在关系，进而推导出最小样本量与以 K 为底的对数的比例成正比的一般规律.
PDF10 years ago
离散分布函数的最大似然功能估计
针对离散分布函数的函数估计问题，利用浓度不等式和正线性算子逼近理论分析了 MLE 估计器的最坏情况的平方误差风险及其期望偏差。研究表明，MLE 在估计香农熵和 F_α(P) 产生了次优的样本复杂度，且 Dirichlet 先验平滑技术不能达
PDF10 years ago
带有异质预期度数的随机网络的 Shannon 和 Von Neumann 熵
本文研究了网络结构熵的复杂性度量，通过对给定期望度序列的网络的 Shannon 熵和 Von Neumann 熵之间的关系的研究，发现当度分布包含一定的异质性时，两种熵之间存在有趣的相关性，这似乎表明这种异质性意味着网络的量子和经典描述之间
PDF14 years ago
复杂网络的熵测量：走向一种信息理论的复杂拓扑学
本文介绍了如何将信息论的关键概念推广到网络中，定义了网络集合的香农熵并解释了其与网络集合的吉布斯熵和冯・诺依曼熵之间的关系，这为通过最大熵理论获得网络零模型解决了关键问题，并在复杂网络领域的推理问题中发挥重要作用。
PDF15 years ago
不充分抽样的熵估计
本论文详细介绍了针对离散分布的 Shannon 熵估计器的一些估计方法，适用于 N 个样本点分布到 M 个箱中，其中 N 和 M -> oo，但 N/M < oo，高采样区域（每个箱子 <<1 个点）具有指数级小的偏差，低采样区域的误差增加
PDF21 years ago