具有通用代价函数的神经最优输运
该研究介绍了一种基于神经网络的算法,用于计算强和弱输运成本的最优输运图和计划,并证明了神经网络是概率分布之间传输计划的通用逼近器。通过在玩具示例和非成对图像翻译上评估我们的最优输运算法的性能。
Jan, 2022
我们研究了具有一种最小作用原理的拉格朗日成本的概率测度之间的最优传输问题,这些推广在将受系统几何影响的物理系统的观测结果连接起来时非常有用,如障碍物(例如,将屏障函数合并到拉格朗日法中),并允许从先验知识、非欧几里得几何中获得基础系统的知识(例如,路径必须是圆形)。我们的贡献具有计算兴趣,我们展示了有效计算测地线和摊销基于样条的路径的能力,这在低维问题中以前从未做过。与以前的工作不同的是,我们还输出了不需要 ODE 求解器的结果拉格朗日最优传输映射。我们通过来自以往工作的低维示例证明了我们的公式的有效性。可以在此 https URL 上获取重复我们实验的源代码。
Jun, 2024
本文提出一个非线性广义离散最优传输模型,可应用于领域自适应和自然语言处理中,同时探索其快速算法和相关属性。Illustrative experiments 展示了模型引导的结构耦合的好处。
Dec, 2017
学习度量到度量映射是机器学习中的一项关键任务,而神经最优输运方法(Neural OT)结合了神经网络模型和最优输运理论,将最优输运作为归纳偏置,并通过实验表明其在单细胞生物学中具有实用性。
Oct, 2023
本文研究了使用少量副信息来学习代价函数的方法,该信息能够捕获到数据集中的子集对应关系,并提出了一种基于 Sinkhorn 算法的端对端优化器,实现了代价函数的自适应学习,结果表明该方法在图片、婚姻匹配和单细胞 RNA 测序等数据集上取得了明显的性能优势。
Sep, 2019
本文提出了一种新的、原则性的方法来从样本中学习两个分布之间的最优传输,学习方法基于最优传输理论并涉及解决一个新的极小极大优化问题,通过最优 Kantorovich 势量级诱导最优传输映射,借鉴最近在输入凸型神经网络领域的进展,提出了一个新的框架,其中一个凸函数的梯度表示最优传输映射。数值实验表明,我们学习到了最优传输映射,这一方法确保我们发现的传输映射独立于神经网络的初始化方式。而且,由于凸函数的梯度自然地模拟了不连续的传输映射,因此可以轻松捕捉具有不连续支持的目标分布。
Aug, 2019
该研究使用算法传输成本的期望 Wasserstein 距离得到了学习算法泛化误差的上界,为通过最优传输视图研究学习算法的泛化提供了新途径并对损失函数施加了较少的限制,并通过总变差距离、相对熵和 VC 维度提供了几个其他的算法传输成本的上界,最后基于我们的建立的框架,我们分析了深度学习中的泛化误差并得出了结论:深度神经网络中的泛化误差随着层数的增加而指数级下降。
Nov, 2018
本文提出了一种基于得分的生成模型,通过 Langevin 动态学习和采样源数据和目标数据之间的 Sinkhorn 耦合,从而解决大规模最优输运问题。
Oct, 2021
该论文提出了一种在潜在的全局转换情况下进行离散最优传输的通用框架,并通过采用灵活类的不变性来选择转换进行联合最优化求解,成功解决了包括无监督词汇翻译基准在内的各种任务。
Jun, 2018