本篇研究利用 Submodular Mutual Information 函数通过有目的性地选择数据子集的方式解决了深度学习模型训练中的数据问题，并且在 CIFAR-10 和 MNIST 数据集上的图像分类任务中证明了其有效性，并和其他相关方法如主动学习进行了对比，结果显示 SMI 函数相比其他方法提升了 20-30% 的分类性能。

Apr, 2021

通过导出与相关性和目标数据的覆盖相关的数量的相似性为基础的上下界，我们首次提供了关于 Submodular Mutual Information（SMI）在子集的相关性和覆盖范围方面的理论保证，展示了 SMI 函数在实现良好的查询相关性和查询覆盖方面的理论上的可靠性。

Feb, 2024

提出了一种新的半参数估计互信息的方法，该方法使用高斯分布来局部逼近密度函数，与其他基准方法相比具有更好的性能，并能准确地测量许多数量级上的关系强度。

Aug, 2015

通过熵优化传输的期望最大化算法对混合模型进行研究，该算法通过结合有关混合权重的先验信息来计算职责，具有优于经典期望最大化算法的全局收敛性保证和较少陷入坏局的优越性能，这在模拟数据和 C. elegans 神经元的细胞标记方面的实验得到了证实。

Jun, 2020

本文利用最优运输问题重新解释自训练标签分配过程，为标签分配提供了一个实用的退火策略，并允许通过灵活的上限约束来包含类比例的先前知识，这样可以在标准随机优化算法的内循环中使用这些分配问题的解决方案。该算法在 CIFAR-10、CIFAR-100 和 SVHN 数据集上比 FixMatch 等自训练算法更有效。

Feb, 2021

通过基于 Girsanov 定理的新方法，我们提出了一种估计随机变量之间互信息（MI）的方法。我们的方法基于分数函数的扩散模型来估计两个密度之间的 Kullback Leibler 散度，并衍生出估计随机变量熵的方法。我们的结果表明，我们的方法在挑战性分布情况下比文献中的主要替代方法更准确，并通过自洽性测试，包括数据处理和独立性下的可加性。

Oct, 2023

本文提出了一种名为 Sliced MI（SMI）的关联系数测量方法，它是高维互信息的一种替代，通过对一维随机投影之间的互信息项求平均来定义，并且可以应用于特征提取。实验结果表明，与传统的互信息相比，SMI 在高维推断中具有潜在的优势。

Oct, 2021

使用最优传输距离（OT）和尤其是熵正则化 OT 距离作为机器学习和数据科学中的一种评估度量越来越普遍。本研究主要针对在线 Sinkhorn 算法进行改进和优化，提出了改进的收敛性分析和压缩技术结合的在线 Sinkhorn 算法，通过实证实验和理论证明验证了方法的有效性和性能。

Oct, 2023

本文介绍了一种使用最优输送损失的可行计算方法，通过熵平滑和自动微分来减少计算负担、提高稳定性和平滑性，获得鲁棒和可微分的最优输送损失的逼近，从而训练大规模生成模型并补充标准深度网络生成模型的计算机架构。

Jun, 2017

该论文中提出了一种新的估计信号的方法，可以在压缩感知、稀疏叠加编码或分割多路接入等应用中使用，该方法基于统计物理的启发式重复方法，使用 Guerra 类型插值和空间耦合分析，得出了相对精确的互信息估计和最小均方误差单字公式，可以应用于所有离散有界信号的随机高斯线性估计。

Jul, 2016