BriefGPT.xyz
Ask
alpha
关键词
rényi entropy
搜索结果 - 6
ICLR
基于转换的教师匹配的知识蒸馏
温度缩放在知识蒸馏中发挥了关键作用，该论文通过对学生的温度缩放进行改进，引入了 Rényi 熵项作为正则化项，以及权重系数的自适应样本加权，实现了一种新的蒸馏方法，称为加权 TTM（WTTM），该方法通过实验证明了其有效性和在准确性方面达到
→
PDF
5 months ago
量子神经熵估计
本文提出了一种基于变分量子算法的方法，用于准确估计量子系统中冯・诺伊曼熵和 Rényi 熵等熵量测度，此方法首先利用量子电路和经典神经网络对熵量测度的变分公式进行参数化，然后通过参数空间优化目标函数以实现熵量测度的估计。
PDF
a year ago
ACL
分词和无噪声信道
本文研究了子词分割在自然语言处理中的应用，发现利用 Rényi 熵而非 Shannon 熵可以提高机器翻译的效果。
PDF
a year ago
强化学习中利用 Rényi 状态熵加速探索
为解决深度强化学习中的长期探索能力问题，本文提出了一种基于 Rényi 熵的新型内在奖励模块，并通过较广泛的模拟结果证明了其高于现有方案的性能。
PDF
2 years ago
Rényi 散度与 Kullback-Leibler 散度
本文概述了 Rényi 离散度和 Kullback-Leibler 离散度之间的关系，介绍了 Rényi 离散度的最重要性质，包括凸性、连续性、Pythagorean 不等式等，并将通道容量的等效性质扩展到了连续通道输入上，并给出了其他一些
→
PDF
12 years ago
超越 Tsallis 和 Renyi 熵
使用 q - 形式的广义对数和指数函数，将 Rényi 熵和 Tsallis 熵统一起来并提出了 Sharma-Mittal 测度，进而探究了其相关性，并且发现另一种可能的扩展缺乏广义热力学的伪可加性和其他相关性质。
PDF
19 years ago
Prev
Next