利用最大似然估计进行神经语言模型训练时，存在曝光偏差问题。提出使用最优传输匹配训练和测试时的序列，以及基于文本序列的结构和上下文信息进一步改进最优传输学习，有效改善了机器翻译、文本摘要和文本生成任务的表现。

Oct, 2020

本文提出了一种新的最优输运问题方法，具有明确的基数约束，既能保证传送方案的稀疏性，又能够限制匹配的最大数量，使其在稀疏专家混合等应用中能够更好地解决计算性能问题。

Sep, 2022

本文研究了使用少量副信息来学习代价函数的方法，该信息能够捕获到数据集中的子集对应关系，并提出了一种基于 Sinkhorn 算法的端对端优化器，实现了代价函数的自适应学习，结果表明该方法在图片、婚姻匹配和单细胞 RNA 测序等数据集上取得了明显的性能优势。

Sep, 2019

本文介绍了一种新的方法 OTMatch，通过使用最优输运损失函数，利用类别之间的语义关系，提高半监督学习的性能。与现有最先进的方法 FreeMatch 相比，在 CIFAR-10、STL-10 和 ImageNet 数据集上分别实现了 3.18%、3.46% 和 1.28% 的错误率降低，证明了我们方法在半监督学习中利用语义关系提升学习性能的有效性和优越性。

Oct, 2023

本工作聚焦于学习基于文本数据的上下文感知网络嵌入，通过内容感知的稀疏注意力模块和高级注意力解析模块改进传统注意力机制以实现自然稀疏和自我规范化的关系推断，从而可以捕捉序列之间的长期交互.

Jun, 2019

该研究提出了一个基于最优传输与聚类结构相结合的层级对齐方法，同时采用 ADMM 算法和 Sinkhorn 距离来提高噪声、模糊或多峰数据的对齐精度，并在合成数据和神经信号解码中进行了应用，表明该方法对于具有一致聚类结构的数据集在跨领域对齐方面具有显著的性能改进作用。

Jun, 2019

本文研究了单语词汇对齐中的空对齐现象并提出了使用最优传输方法实现不均衡对齐且与专门设计的方法具有竞争力的方法。

Jun, 2023

该研究提出了一种基于 Optimal Transport 的非学习型文本摘要方法 ——Optimal Transport Extractive Summariser (OTExtSum)，通过最小化摘要的语义覆盖成本来选择原始文档中最重要的句子，实验证明该方法在 ROUGE 度量方面优于其他最先进的非学习型方法和多个最近的学习型方法。

Apr, 2022

本文提出两种有效的对数线性时间逼近方法来计算熵正则化最优输运问题，并提出了一种结合图神经网络和增强 Sinkhorn 的图输运网络，并实验证明它在节点数量方面具有对数线性的规模，并在图距离回归方面优于以前的模型 48%。

Jul, 2021

基于最优输运的对齐（AOT）是一种针对 LLMs 的分布偏好对齐的新方法，通过在未配对的偏好数据中使正样本的奖励分布在一阶随机支配负样本的分布来对齐 LLMs。我们使用平滑和凸代价，对这种一阶随机支配的凸松弛进行了引入，并将其作为一个最优输运问题。通过实证测量排序，由于最优输运问题的一维特性和成本的凸性，它有一个封闭的解。我们通过罚除违反正样本奖励分布对负样本奖励分布的随机支配来使用 AOT 目标微调 LLMs，并通过考虑 OT 问题的对偶并证明其以参数速率收敛来分析 AOT 的样本复杂性。在各种对齐数据集和 LLMs 上的实证结果表明，在 Open LLM Benchmarks 和 AlpacaEval 的评估中，AOT 能够产生最先进的 7B 系列模型。

Jun, 2024