Jun, 2019

通过最优传输使用全局注意力提高文本网络嵌入

PDF
TL;DR本工作聚焦于学习基于文本数据的上下文感知网络嵌入，通过内容感知的稀疏注意力模块和高级注意力解析模块改进传统注意力机制以实现自然稀疏和自我规范化的关系推断，从而可以捕捉序列之间的长期交互.
network embeddingscontext-awaretext dataattention mechanismsrelational inference
发现论文，激发创造
  • 一个可训练的最优输运嵌入及其与注意力的关系

    本文提出了一种基于优化传输计划思想的特征集聚合技术，可用于长生物序列的池化操作，具有快速、简单、可扩展等优点，并在蛋白质折叠识别、染色质图谱检测等生物学任务上取得了最先进的效果。

    Jun, 2020

  • 理性文本匹配：通过最优传输学习稀疏对齐

    使用最优传输方法对文本匹配进行有选择的说明性解释，结果产生高度稀疏的对齐，并具有与强注意力基线模型相当的预测准确度。

    May, 2020

  • 基于内容的稀疏注意力路由转换网络

    本研究提出了 Routing Transformer，它结合了疏密注意力和本地、时间疏松注意力的建模灵活性和效率。该模型具有基于在线 K 均值的稀疏路由模块，将注意力的总体复杂度从 $O (n^2d)$ 降至 $O (n^{1.5} d)$，并在 Wikitext-103 和 ImageNet-64 上表现出了良好的性能。

    Mar, 2020

  • 一种结构化的自注意句子嵌入

    本文提出了一种基于自注意力机制的句子嵌入模型，通过使用二维矩阵表示嵌入，并让每行矩阵分别关注句子中不同的部分，提高了可解释性。并在作者分析、情感分类和文本蕴含等三个任务中进行了模型评估，在所有任务中与其它句子嵌入方法相比表现出了显著的性能提升。

    Mar, 2017

  • 通过最优输运改进序列到序列学习

    本研究提出了一种基于全局序列级别的指导和最优传输的解决方案来提高序列到序列模型的性能并捕捉长程语义结构，经实验证明该方法在多种 NLP 任务中能够实现一致的改进。

    Jan, 2019

  • 文本网络嵌入的深度神经信息融合架构

    本文提出了一种深度神经结构，以有效地融合结构和文本的信息，并利用新的目标函数、互补信息融合方法和互动门机制来提高文本要素特征。实验证明，所提出的模型在所有三个数据集上均优于比较方法。

    Aug, 2019

  • 结构化最优输运

    本文提出一个非线性广义离散最优传输模型，可应用于领域自适应和自然语言处理中，同时探索其快速算法和相关属性。Illustrative experiments 展示了模型引导的结构耦合的好处。

    Dec, 2017

  • 基于结构增强的文本表示学习用于高效的知识图谱补全

    本研究旨在整合知识图谱的图嵌入和文本编码技术，以提高自动完成知识图谱的性能，实现更精确的链接预测和结构学习。实验结果表明，该方法能实现与文本编码方法相比 1-2 个数量级的推理成本减少和最先进的性能表现。

    Apr, 2020

  • 文本网络嵌入的扩散映射

    采用扩散映射对词语网络嵌入进行建模，以更好地捕捉文本之间的语义联系，并提供一种新的目标函数来有效保留多阶接近度。该方法在顶点分类和链路预测任务上优于最先进的方法。

    May, 2018

  • 在文本属性图中桥接局部细节和全局背景

    提出了 GraphBridge，一个多粒度整合框架，通过利用上下文文本信息来构建 TAGs 的局部和全局视角的桥梁，以增强对 TAGs 的细粒度理解，并引入了一个图感知的标记缩减模块来处理可扩展性和效率挑战。通过在各种模型和数据集上进行大量实验，表明我们的方法在性能上达到了最先进的水平，而我们的图感知标记缩减模块显著提高了效率并解决了可扩展性问题。

    Jun, 2024