该研究提出了一种短文本匹配框架，使用自我注意机制引入外部知识以增强文本的上下文表示，实验证明该框架的性能优于现有的短文本匹配模型。

Mar, 2022

文本匹配是将两段文本进行匹配并确定它们之间的关系的任务，本文提出了一种名为知识增强文本匹配模型（KETM）的新模型，通过从外部知识源中丰富上下文表示来增强模型的理解和推理能力。实验证实了我们的模型在四个数据集上表现良好，并且与不添加外部知识的基础模型相比，我们的方法的性能得到了提高。

Aug, 2023

采用先验知识辅助在长文本中进行语义匹配，提出了一种知识增强混合神经网络（KEHNN），该模型通过知识门将先验知识融入单词表示中，并建立了三个匹配通道，最终实现对句子的局部和全局语境进行匹配的高检索性能。

Nov, 2016

提出了一种基于语义邻居检索增强的归纳式多模态知识图谱补全框架 CMR，通过对多模态查询实体对的文本 - 视觉和文本 - 文本相关性进行统一的交叉模态对比学习，增加有助于语义邻居的相似性，然后显式记忆知识表示以支持语义邻居检索，并在测试时通过插值将最近的语义邻居与查询实体的相似性分布相结合以增强最终预测，实验证明了 CMR 在三个归纳式多模态知识图谱补全数据集上的有效性。

Jul, 2024

提出了一种新颖的短文本主题建模框架 Topic-Semantic Contrastive Topic Model (TSCTM)，采用一种新的对比学习方法来丰富学习信号并缓解数据稀疏问题，该方法优于现有的基线模型，不受数据增强可用性限制，能够产生高质量的主题和主题分布。

Nov, 2022

该研究提出了一种基于外部知识库 HowNet 和 Linguistic knowledge Enhanced graph Transformer（LET）来处理汉语短文本匹配中词语歧义性问题的模型，并采用单词格子图作为输入，取得了比其他典型文本匹配方法更好的结果。消融实验结果表明，语义信息和多粒度信息都对文本匹配建模至关重要。

Feb, 2021

该研究构建了一种知识图谱补全方法，通过微调 BERT 模型获取三元组中隐藏的语义信息，并使用注意力特征嵌入方法计算正负三元组中关系和实体之间的语义注意力得分，形成软约束规则来实现语义信息的自适应增强。此外，考虑到高维向量对影响，使用 BERT-Whitening 方法降低维度，提高语义向量的效率。经实验比较，在 FB15K 和 WIN18 数据集上，所提出的方法表现更好，比原始翻译模型有约 2.6％的数值改善。

Feb, 2023

本论文提出一种基于顺序文本的知识表示学习方法，通过循环神经网络、注意力机制等实现对实体语义信息的编码和选取信息量高的语句，以及在三元组分类和链接预测任务中实现了优异的效果。

Sep, 2016

本文提出了一种对比学习模型，用于文本摘要的有监督抽象，通过将文档、其黄金摘要和模型生成的摘要视为同一平均表示的不同视图，并在训练过程中最大化它们之间的相似性，从而改进了强序列到序列的文本生成模型（即 BART）。人类评估也显示，我们的模型与没有对比目标的对应模型相比，实现了更好的忠实度评分。

Sep, 2021

我们提出了一个基于对比学习的单一模型，通过数据增强和对比学习，在没有使用多个模型集合的情况下，达到与多模型相当的性能表现。

Feb, 2024