ICLRJun, 2020

一个可训练的最优输运嵌入及其与注意力的关系

PDF
TL;DR本文提出了一种基于优化传输计划思想的特征集聚合技术，可用于长生物序列的池化操作，具有快速、简单、可扩展等优点，并在蛋白质折叠识别、染色质图谱检测等生物学任务上取得了最先进的效果。
learning on sets of featuresaggregation techniqueoptimal transport planbiological sequencesunsupervised learning
发现论文，激发创造
  • 通过最优传输使用全局注意力提高文本网络嵌入

    本工作聚焦于学习基于文本数据的上下文感知网络嵌入，通过内容感知的稀疏注意力模块和高级注意力解析模块改进传统注意力机制以实现自然稀疏和自我规范化的关系推断，从而可以捕捉序列之间的长期交互.

    Jun, 2019

  • 神经最优传输

    该研究介绍了一种基于神经网络的算法，用于计算强和弱输运成本的最优输运图和计划，并证明了神经网络是概率分布之间传输计划的通用逼近器。通过在玩具示例和非成对图像翻译上评估我们的最优输运算法的性能。

    Jan, 2022

  • 通过最优输运改进序列到序列学习

    本研究提出了一种基于全局序列级别的指导和最优传输的解决方案来提高序列到序列模型的性能并捕捉长程语义结构，经实验证明该方法在多种 NLP 任务中能够实现一致的改进。

    Jan, 2019

  • 最优输运图神经网络

    本文介绍了 OT-GNN 模型，该模型利用参数原型计算图嵌入，并通过参数原型和乘子做到了与传统的求和聚合不同的方法，通过几项分子属性预测任务的实验证明，此方法在图嵌入的平滑性和预测性能上超过了当前流行的其它方法。

    Jun, 2020

  • 结构化最优输运

    本文提出一个非线性广义离散最优传输模型，可应用于领域自适应和自然语言处理中，同时探索其快速算法和相关属性。Illustrative experiments 展示了模型引导的结构耦合的好处。

    Dec, 2017

  • 基于优化传输和嵌入方法的无监督图对齐中提供更多表达性

    无监督图对齐通过仅利用图结构和节点特征确定带属性图的一对一节点对应关系。我们提出一种名为 CombAlign 的模型框架，将计算节点表示并匹配近似嵌入的方法与确定最优传输的 Gromov-Wasserstein 学习相结合，通过特征转换、基于嵌入的启发式方法和优化权重匹配的约束，逐步优化节点对齐，实验证明在对齐准确性上较现有方法显著改进。

    Jun, 2024

  • 最优传输的共聚类

    通过基于熵正则化最优输运的新方法和 Gromov-Wasserstein 距离概念，实现并优化了联合聚类的算法，可以自动地确定行和列聚类的数量，并在广泛的实验评估中展示了其快速和准确的功能。

    May, 2017

  • 在大规模最优输运问题上的可扩展和高效计算

    提出了一种名为 SPOT（Scalable Push-forward of Optimal Transport）的基于隐式生成学习的方法来解决 “最优传输”（Optimal Transport，OT）中的可扩展性问题，该方法通过引入参考分布而近似最优传输计划，并将其转化为极小极大问题。实验结果表明 SPOT 系统具有可靠性和较好的收敛性，并允许从最优传输计划中高效采样，从而有利于领域适应等下游应用。

    May, 2019

  • 最优输运下的神经主题模型

    通过最优传输理论，提出一种新的神经主题模型来更好地实现文档表示和一致 / 多样化的主题，特别地，通过最小化文档的 OT 距离来学习文档的主题分布，实验证明该模型在常规和短文本的文本分析中表现显著优于现有的神经主题模型。

    Aug, 2020

  • 聚合数据推理：一种最优传输方法

    本文提出了一种新的高效置信传播算法 Sinkhorn belief propagation (SBP)，用于基于大量个体生成的聚合数据的概率图模型的推断问题。该算法基于最优传输理论并具有全局收敛保证，特别适用于隐马尔可夫模型的情况。

    Mar, 2020