使用 Wasserstein 距离对分布进行差分私密密度估计，并设计了可以适应简单实例的实例最优算法，对于特殊情况下的离散分布，结果还导致了 TV 距离下的实例最优私密学习。
Jun, 2024
本文提出了一种统计理论，将一致性模型的训练视为分布差异最小化问题，并通过使用 Wasserstein 距离，导出了与传统扩散模型相匹配的一致性模型的统计估计速率，同时揭示了一致性模型通过蒸馏和隔离方法进行训练的优势。
在对抗性环境中，考虑利用计算上高效的估计器最小化 Wasserstein 距离，并开发具有有界误差的有限样本算法，用于鲁棒性随机优化。
研究论文的主要内容是关于正则化强化学习，尤其是熵正则化的方法在最优控制和逆强化学习方面的应用。论文指出，改变动作数量对于标准非正则化强化学习方法没有影响，但会严重影响正则化的方法。为了避免过度正则化，需要解耦作用空间与正则项，并提出两种解决方案，即静态温度选择方法和动态对应方法，能在出现该问题的情况下普遍适用。实验结果表明，这些改变提高了在静态和动态温度条件下的 DeepMind 控制套件和生物序列设计任务的性能。
通过利用强化学习框架在选择网络收入管理作为案例研究中的强度控制，不需要事先对时间进行离散化，从而降低计算难度和离散化误差，并通过综合的数值研究展示了我们方法相对于其他最新技术基准的优势。
通过分析两个多维跳扩散过程的概率分布之间的 Wasserstein 距离（W - 距离），我们提出了一种时间解耦的平方 W_2 - 距离方法，该方法提供了与两个跳扩散过程的漂移、扩散和跳跃幅度函数之间的差异相关的上下界。然后，我们利用参数化神经网络从数据中高效重建未知的跳扩散过程，并展示了通过利用跳扩散过程的漂移函数的先验信息可以提高其性能。我们还通过几个示例和应用程序演示了我们提出的重建方法的有效性。
我们展示了如何通过将 LLM 扩展为稀疏专家的混合体来提高其推理效率，其中每个专家是原始权重的副本，经过一次性修剪以特定输入值簇的方式修剪。我们称这种方法为 ' 稀疏扩展 '。我们展示了对于像 LLama 270B 这样的模型，随着稀疏专家的数量增加，稀疏扩展在相同推理 FLOP 预算下胜过所有其他一次性稀疏化方法，并且随着稀疏性的增加，这种差距加大，导致推理加速。
May, 2024
通过改进粒子近似误差的对数 Sobolev 不等式常数依赖性，我们展示了 MFLD 的收敛性提高、对均场稳态分布的采样保证以及粒子复杂度的统一随时间的 Wasserstein 传播。
设计了一种基于 Wasserstein 距离的准则来评估观测结果对未来预测的相关性，并利用该准则构建了一种名为 W-DBO 的动态贝叶斯优化算法，能够实时删除无关观测结果，从而在未知时间范围内的连续时间优化任务中同时具备良好的预测性能和高采样频率，实验证明 W-DBO 优于现有方法。
我们提出了一种使用 Wasserstein 距离的广义 Ricci 曲率（ORC）的简化方法，该方法在计算复杂性上具有线性，特别适用于分析大规模网络，并通过大量模拟和对合成和真实数据集的应用来展示了该方法在评估 ORC 方面的显著改进。