本文提出了一种基于自注意力机制的句子嵌入模型，通过使用二维矩阵表示嵌入，并让每行矩阵分别关注句子中不同的部分，提高了可解释性。并在作者分析、情感分类和文本蕴含等三个任务中进行了模型评估，在所有任务中与其它句子嵌入方法相比表现出了显著的性能提升。

Mar, 2017

本文提出了一个多任务句子编码模型 (MSEM) 用于 Paraphrase Identification（PI）问题。我们使用连接图表示句子之间的关系，并应用多任务学习模型来解决句子匹配和意图分类问题。此外，我们实现了一个通用的语义检索框架，结合了我们提出的模型和近似最近邻（ANN）技术，可以在在线服务中快速地找到最相似的问题。实验结果表明，我们提出的方法与现有的句子匹配模型相比具有优越性。

Nov, 2019

本文提出了一种基于多模态对比目标的句子嵌入学习方法，利用同时包含视觉和文本信息的数据提高了语义相似性任务的性能，并通过分析文本嵌入空间的性质解释了本方法提高性能的原因。

Apr, 2022

我们提出了一种自适应重建对比句子嵌入（SARCSE）框架，通过使用自动编码器对句子中的所有单词进行重建，帮助模型在聚合单词时保留更多细粒度的语义。实验结果表明，与强基准 SimCSE 相比，SARCSE 在 7 个 STS 任务中取得了显着改进。

Feb, 2024

本文提出了一个能够改进问题生成中的关键词生成和全局问题语义缺失问题的神经问题生成模型，并且利用了句子级别的语义匹配和答案位置推断功能，并运用了基于答案感知的门控融合机制来增强解码器的初始状态，结果表明我们的模型在 SQuAD 和 MARCO 数据集上领先于现有的最先进模型，同时还对现有模型进行了显著改进。

Dec, 2019

提出了一种句子级元嵌入学习方法，利用不同的上下文化语言模型，通过无监督的学习方式学习句子嵌入，以满足不同需要的下游自然语言处理任务，实验证明提出的方法优于以往的方法和有监督的基线。

Apr, 2022

提出一种基于语义和上下文限制的表示增强方法，来改善问题回答模型的强壮性和泛化能力，通过对语义进行扰动和训练增强上下文表示来更好地区分正确答案的上下文线索，实验证明我们的方法在四个对抗性测试集上获得了显著的鲁棒性改善。

Feb, 2022

本研究以 PubMed 开放获取数据集中的 1.7 百万文章为依据，研究了目前最先进的神经句子嵌入模型在生物医学文献中语义相似性估计方面的有效性；结果表明，我们提出的受监督模型在生物医学基准数据集上的表现优于以往的方法，并呼吁进一步对生物医学句子中的矛盾和否定进行研究。

Oct, 2021

使用医学实体定义的句子嵌入（MED-SE）方法，是一种新颖的无监督对比学习框架，用于临床文本，可在医学实体中心设置下获得更好的性能，在临床和常规领域的文本之间存在固有差异，因此实体中心的对比方法可以弥合这个差距，并产生更好的临床句子表示。

Dec, 2022

本研究提出了一种结合上下文嵌入方法、开放领域 QA 模型以及生物医学领域预训练模型 BioBERT 的生物医学问答方法，并采用无监督预训练和受监督微调的方式进行训练。实验结果表明，该方法在公共数据集 Biomrc 上相较于现有最先进系统有着显著的性能优势。

Jun, 2022