kullback-leibler divergence | BriefGPT

关键词kullback-leibler divergence

搜索结果 - 109

离散密度估计的非负张量混合学习
基于期望最大化 (EM) 的非负张量分解统一框架，通过优化 Kullback-Leibler 散度来避免在每次 M 步骤和学习率调整中的迭代，并建立了低秩分解和多体逼近之间的一般关系，进而利用了多体逼近的闭式解来同时更新所有参数。我们的框架
PDFa month ago
Epanechnikov 变分自编码器
本文通过将核密度估计应用于变分自动编码器 (VAEs)，近似后验概率分布，推导出极大似然下界 (ELBO) 中 KL 散度的上界，展示了 Epanechnikov 核在最小化 KL 散度上界方面的优势。在 MNIST、Fashion-MNI
PDFa month ago
使用 LSTM 模块和 KL 散度改进的 AutoEncoder
本文提出了改进的带 LSTM 模块和 KL 散度的自动编码器（IAE-LSTM-KL）模型，通过添加 LSTM 网络来记忆正常数据的特征表示，并通过 KL 散度对特征输入到 SVDD 模块进行惩罚，从而解决了深度卷积自动编码器和深度支持向量
PDF2 months ago
用于人脸识别中合成和真实数据评估的大规模标注数据集
通过对真实数据集和合成数据集进行性能比较，我们发现了真实数据集和合成数据集之间的差异，并发现真实样本足以解释合成分布，而相反情况则不成立。
PDF2 months ago
通过 $h$-Lifted Kullback--Leibler Divergence 在紧致域上进行混合密度估计的风险界限
基于样本数据，我们考虑使用某个组件类的有限混合密度来估计概率密度函数的问题，并引入 H - 提升 Kullback-Leibler（KL）散度作为标准 KL 散度的一种泛化和进行风险最小化的准则。在紧支持假设下，我们证明了使用 H - 提升
PDF2 months ago
输出受限的失真压缩编码及其在率失真感知理论中的应用
对有限公共随机性的输出约束有损源编码进行失真率函数分析，讨论了均方误差度量的特殊情况，当源和重建分布均为高斯分布时，得到了显式表达式。这进一步揭示了以 Kullback-Leibler 散度或平方二次 Wasserstein 距离作为感知度
PDF3 months ago
在 Dirichlet 混合模型中高效估计 KL 散度的变分方法
该研究通过引入一种新的变分方法，解决了计算成本高的蒙特卡洛方法在估计 Dirichlet 混合模型中 Kullback-Leibler 散度的问题，从而显著提高了计算效率，验证结果表明该方法优于传统的蒙特卡洛方法，为多样的 DMM 模型的快
PDF4 months ago
序列蒙特卡洛在摊还变分推理中的包容式 KL 最小化
使用序贯蒙特卡洛采样估计更全面的 KL 散度的梯度，提出了 SMC-Wake 方法，其使用了编码器网络进行已摊销的变分推断，以更准确地拟合后验分布的变分分布。
PDF4 months ago
软约束薛定谔桥：一种随机控制方法
通过允许终端分布与 μ_T 不同，但惩罚两个分布之间的 Kullback-Leibler 散度，我们提出了一种软约束的 Schrödinger bridge（SSB）的最优控制方法，并且从理论上推导了其解决方案，表明最优控制过程的终端分布是
PDF4 months ago
关于 t-SNE 在流形上的点云梯度流收敛分析
我们提出了关于 t-SNE 算法有限性的理论基础。t-SNE 使用梯度下降迭代与 Kullback-Leibler（KL）散度作为目标函数，旨在在高维空间中识别与原始数据点相似的一组点，最小化 KL 散度。在对采样数据集进行弱收敛假设的条件
PDF5 months ago
贝叶斯网络的熵和库尔巴克 - 莱布勒散度：计算复杂度与高效实现
本研究提供了针对贝叶斯网络的计算机算法，通过利用网络的图形结构，将 Shannon 熵和 Kullback-Leibler 散度的计算复杂度从三次降低到二次，并提供了完整的数值示例。
PDF7 months ago
个别类别信息传递的余弦相似度知识蒸馏
通过使用批量预测的余弦相似度度量以及基于余弦相似度的温度调节方法，我们提出了一种新颖有效的知识蒸馏方法，可以使学生模型达到与教师模型相似甚至更好的性能，该方法将为模型压缩的未来研究提供宝贵的见解。
PDF7 months ago
使用相关距离和网络修剪强化的鲁棒性知识蒸馏
我们提出了一种利用关联距离和网络修剪的强化稳健知识蒸馏（R2KD）方法，能够有效结合数据增强以提高模型的性能。在各种数据集上进行了广泛的实验，包括 CIFAR-100、FGVR、TinyImagenet 和 ImageNet，这些实验证明了
PDF7 months ago
高斯速率 - 失真 - 感知函数的计算
本文研究了多元高斯源在均方误差畸变和分别为 Kullback-Leibler 散度、几何 Jensen-Shannon 散度、平方 Hellinger 距离和平方 Wasserstein-2 距离感知度量下的率失真感知函数（RDPF）的计算
PDF8 months ago
机器学习中的创新和词汇使用模式
本研究深入研究了机器学习研究演变的动态景观，利用隐狄利克雷分配方法识别了在机器学习领域中出现的关键主题和基本概念，通过综合分析追踪了这些主题的演化轨迹，并利用 Kullback-Leibler 散度度量方法量化研究贡献的新颖性和多样性，从而
PDF8 months ago
ICML基于模拟的推断与广义 Kullback-Leibler 散度
在基于模拟的推断中，我们提出了一种通用的 Kullback-Leibler 散度优化方法，可以处理非规范化分布，将常用的神经后验估计方法和神经比率估计方法统一为一个目标，并研究了一个混合模型，通过学习规范化基础分布和学习比率来同时发挥两者的
PDF9 months ago
SWAP: 時序上對第二高分數利用的對抗攻擊
时间序列分类是各个领域中的一个关键任务，深度神经模型在时间序列分类任务中展现出了卓越的性能。然而，这些模型容易受到对抗性攻击的影响，我们提出了一种名为 SWAP 的全新攻击方法，该方法能够提高次优预测的置信度，并通过最小化 Kullback
PDF10 months ago
广义互信息：一种用于判别聚类的框架
本文介绍了深度聚类中相互信息作为无监督训练神经网络的客观标准的最大化并不能得到令人满意的聚类结果，并将核心距离更改为常见的挑战导致的原因。因此，我们通过引入广义相互信息 (GEMINI) 来推广相互信息，它是一组用于无监督神经网络训练的指标
PDF10 months ago
通过重要性采样实现通信高效的联邦学习
在可扩展联邦学习中，我们利用客户端和服务器之间的密切联系，提出一种框架，将客户端的分布与服务器的先数据分布进行了比较，大大减少了通信开销，同时保证了测试精度。
PDFa year ago
大型语言模型的知识蒸馏
本文提出了一种名为 MiniLLM 的方法，该方法利用 Kullback-Leibler 散度，会防止学生模型过度估计教师分布的低概率区域，实现了从生成式语言模型中提取出更小的语言模型，该方法在指令遵循情况下进行了广泛的实验，证明了 Min
PDFa year ago