具有应用的对数凹随机向量差分熵下限
利用先前研究得出的最小均方误差和费舍尔信息矩阵与信息论数量之间的联系,本文在任意信号情况下计算出该矩阵对系统任意参数的雅可比矩阵,并推导了互信息和差分熵的黑塞矩阵表达式,进一步研究了不同信道条件下互信息和差分熵的凹性质及 Costa 熵功率不等式的多元版本。
Mar, 2009
我们以具有未知均值的高斯分布的抽样为动机示例,通过扩散生成模型提供了在强对数凹数据分布假设下的收敛性行为的全面理论保证。我们的评估函数类使用的逼近是利普希茨连续函数,同时通过与相应的抽样估计相结合,对于与数据分布之间的 Wasserstein-2 距离等关键量感兴趣的最佳上界估计提供了显式估计。该论文还引入了基于 L2 准确评分估计假设的结果,以适用于各种随机优化器。该方法在我们的抽样算法上得到了已知的最佳收敛速度。
Nov, 2023
证明了通过多尺度构造和具有与 Wishart 矩阵类似的查询下界技术,可以在任何常数维度下通过块 Krylov 算法最优地采样具有强对数凹和对数平滑分布的分布,同时连接到高斯分布的具有误差的查询下界。
Apr, 2023
使用新技术,我们证明了通过涉及所讨论分布的 bin 概率的不等式定义的性质的分布测试下界。利用该技术,我们对离散六面体上的单调性测试获得了新的下界,并对对数凹性测试获得了严格的下界。
Jul, 2023
针对独立同分布样本的密度的对数凹最大似然估计器的理论性质进行了阐述,对真实的基础密度为对数凹和误差模型两种情况进行了研究,证明了对于对数凹密度序列,分布收敛意味着强类型的收敛,而且在某些指数加权的总变异规范下甚至意味着 Hellinger 距离的收敛。在主要结果中,证明了所有对数凹密度中最小化 Kullback-Leibler 分歧的对数凹密度的存在性和唯一性,并且还展示了对于这些指数加权的总变异规范收敛于这个最小化器的对数凹最大似然估计器。在正确规定模型的情况下,这证明了估计器的一种强的一致性;在误设模型的情况下,它表明估计器收敛于最接近真实密度的 Kullback-Leibler 意义下的对数凹密度。
Aug, 2009
本文研究了高维条件下多元高斯分布的差分熵、协方差矩阵的对数行列式的最优估计问题,建立了样本协方差矩阵对数行列式的中心极限定理,并给出了估计器的收敛率和局限性。
Sep, 2013
本文提出了一种用于估计对数凹密度函数的最大似然估计方法,该方法利用了计算几何和 Shor 的 r 算法,具有自动化和无需参数选择等优点,并证明了其表现优于基于核的方法,可用于有限混合物拟合。
Apr, 2008
通过半群方法及非平凡扩展,对化合泊松分布在自然概率测量类中最大熵的充分条件进行了研究,同时也研究了化合二项分布及其 log-concave 分布的最大熵情况及其在组合数学中的应用。
Dec, 2009