Mar, 2017

基于 LSH 的新型无偏高效采样器和估计器用于对数线性模型中的分区函数计算

PDF
TL;DR该研究提出了一种新的采样方案和无偏估计器，利用局部敏感哈希（LSH）在次线性时间内准确估算分配函数，实现了高效的样本生成和处理，进而提高了训练实际语言模型的速度和精度。
log-linear modelsimportance samplingmcmc-based approacheslocality sensitive hashingpartition function
发现论文，激发创造
  • 用于计算分配函数的哈密顿退火重要性采样

    用哈密顿动力学扩展的退火重要性抽样技术快速估算规范常数，应用于计算有向和无向概率图像模型的对数似然函数，比较了线性生成模型和各种分布假设，提供代码以比较其他模型。

    May, 2012

  • 计算效率高且简单的非标准化统计模型估计器家族

    本研究提出了一种新的非归一化统计模型估计器族，其参数由两个非线性函数组成，使用来自辅助分布的单个样本，推广了 Geyer 和 Thompson（1992）的最大似然蒙特卡罗估计方法，并且可以像模型中的任何其他参数一样估计分区函数。同时，我们可以通过优化代数简单且定义明确的目标函数来进行估计，从而允许使用专用优化方法。最后，我们从计算效率的角度考虑了相对于给定数据量的最佳辅助样本量。

    Mar, 2012

  • 具有理论保证的快速局部敏感哈希

    通过随机抽样和随机投影的组合，FastLSH 算法将 LSH 计算的时间复杂度从 O (n) 降低到 O (m)（其中 m < n），并具有可证明的 LSH 属性，是一种有希望替代经典 LSH 方案的方法。

    Sep, 2023

  • 对数配分函数的一类新上界

    本文介绍了一种基于指数域的分布的凸组合的对数划分函数的新的上界类型，适用于任何无向图模型，特别是树形结构分布的凸组合。该方法有唯一全局最小值，可以用于原模型的边际估计。此方法与更高的 treewidth 的结构相关联，从而与更高级的近似方法相关。

    Dec, 2012

  • 分区函数估计：量化研究

    本论文探讨了 18 种基于概率图模型的分区函数的估计方法，并经过广泛的基准实验进行了严格的实证研究。研究发现精确技术与近似技术的效率是相同的，因此我们对设计具有增强可扩展性的近似技术的机会持乐观态度。

    May, 2021

  • 最近邻搜索的学习空间划分

    本研究提出一种新的框架用于构建空间划分，将问题转化为平衡图划分和监督分类，并结合 KaHIP 图分区器和神经网络，实现了一种新的分区过程称为神经局部敏感哈希（Neural LSH），实验证明 Neural LSH 的分区在标准最近邻搜索（NNS）基准测试中，始终优于基于量化和树的方法，以及经典的数据无关 LSH。

    Jan, 2019

  • 最优子样本逻辑回归更高效的估计

    本文提出了一个基于子样本的改进逻辑回归估计方法，通过使用 2018 年 Wang 等人提出的最优子采样概率。无论是渐近结果还是数值结果都说明新的估计量具有更高的估计效率。我们还提出了一种基于泊松子采样的新算法，该算法不需要一次性近似最优子采样概率，避免了计算问题，并且当随机存储器的可用空间不足以存储全部数据时有计算优势。如果采样速率（子样本大小与全部数据样本大小的比例）不收敛于零，渐近分布表明泊松子采样可以产生更高效的估计量。我们进一步使用一个初始估计器来校正未加权估计器的偏差。我们还证明，即使初始估计器是不一致的，如果模型是正确的，则会产生一致和渐近正常的结果估计量。

    Feb, 2018

  • 高效的多重重要性采样估计器

    本文介绍了一种基于集合划分的新的多重重要性采样方法，该方法通过权重计算的高效折衷来减少方差和计算复杂度，并提供了相关的计算机模拟结果。

    May, 2015

  • 使用 Rao-Blackwellized Tempered Sampling 计算分区函数

    提出了一种计算复杂的、多峰的概率分布的配分函数的新方法，该方法利用了逆温度的多项概率定律，可以在采样时更新。通过实验证明，这种方法比模拟退火法提供更准确的估计，适用于跟踪学习 Restricted Boltzmann Machines 中的训练和验证对数似然。

    Mar, 2016

  • 分区和特征分配的摘要统计

    本文提出了一种基于区块大小的统计量，并且采用基于元素的熵的定义来量化其分割信息，并且使用熵聚类算法简化和可视化信息，实验证明这种统计量在实践中非常有用，使用于各种无限混合后验及特征分配数据集。

    Oct, 2013