sentence embedding | BriefGPT

关键词sentence embedding

搜索结果 - 38

增强生成语言模型中的句子嵌入的简单技术
本研究挑战了从预训练语言模型（PLMs）中获得句子嵌入所必须的显式单字限制的普遍观点，并通过实验证明了这种方法对于判别模型或生成型 PLMs 的精调并非必需。在此基础上，我们提出了两种创新的提示工程技术，可以进一步增强 PLMs 原始嵌入的
PDF3 months ago
2D 套娃句子嵌入
引入了一种名为二维母婴句子嵌入的新型句子嵌入模型，支持弹性设置嵌入尺寸和 Transformer 层数，具备比 Matryoshka Representation Learning 更大的灵活性和效率。在语义文本相似性（STS）任务和下游应
PDF4 months ago
基于 LSTM 的深度神经网络，关注于句子表示，用于医学科学摘要中的序列句子分类
医学摘要中的连续句子分类任务（SSC）使用多级深度学习模型，包括 LSTM-based 网络和分层结构，来提取句子嵌入，进而实现更好的分类性能。
PDF5 months ago
DebCSE：从去偏见的角度重新思考无监督对比句嵌入学习
本文研究了对比学习中存在的偏见问题，提出了一种名为 DebCSE 的新型对比框架，通过逆倾向加权抽样方法选择高质量的正负样本对，以消除各种偏见的影响，从而提高句子嵌入的质量。在语义文本相似性基准测试中，DebCSE 的平均 Spearman
PDF10 months ago
利用多语言知识蒸馏的句子嵌入模型在古希腊语中的应用
通过使用多语言知识蒸馏方法训练 BERT 模型，本研究为古希腊文本生成句子嵌入，借鉴了高资源语言的模型性质，同时使用了相对较少的翻译句子数据。通过创建一个平行语料库，将古希腊文档与英文译文进行对齐，并使用这个数据集训练模型。研究还通过翻译搜
PDF10 months ago
句级多模态和语言无关的表示
我们引入了 SONAR，一个新的多语言和多模态的固定大小句子嵌入空间，在 xsim 和 xsim++ 多语言相似性搜索任务中，我们的单一文本编码器涵盖 200 种语言，表现明显优于现有的句子嵌入如 LASER3 和 LabSE。我们还提供了
PDF10 months ago
评估语义变化的句子嵌入模型的比较研究
分析语义变化的模式在长篇实际文本（如书籍或记录）中是有趣的，从文体、认知和语言的角度来看。这项研究也对应用领域，如文本分段、文档摘要和语义新颖性检测是有用的。本文通过时间序列的语义相似性以及多本文学作品的两两句子相似性矩阵比较了几种最近的句
PDFa year ago
EMNLPJina Embeddings：一个性能卓越的句子嵌入模型集合
Jina Embeddings 是一套高性能的句子嵌入模型，能够将各种文本输入转化为数值表示，从而捕捉文本的语义要义。本文详细介绍了 Jina Embeddings 的开发过程，包括高质量配对和三元组数据集的创建，强调数据清洗在数据准备中的
PDFa year ago
基于条件 MLM 对比学习的句子嵌入方法 (CMLM-CSE)
提出了一种基于条件 MLM 的无监督对比学习框架 CMLM-CSE，通过增加辅助网络来集成句子嵌入执行 MLM 任务，使句子嵌入学习更多的屏蔽词信息，使用 Bertbase 和 Robertabase 作为预训练语言模型进行预训练，在文本相
PDFa year ago
ACLSen2Pro：基于预训练语言模型的句子嵌入的概率视角
本文提出了一种基于概率的句子嵌入框架（Sen2Pro），该框架利用预训练语言模型将句子表示为嵌入空间中的概率密度分布，以反映句子表示中的模型不确定性和数据不确定性，并在不需要重新训练预训练语言模型的情况下，基于 PLM 进行部署和应用，实现
PDFa year ago
ACL基于白化的句子嵌入对比学习
本文提出了一种基于白化的对比学习方法，该方法将白化和对比学习相结合，提高了特征空间的一致性和对齐性，通过在通道轴上随机分组并独立白化，从而增加单个样本的多个扭曲形式，进一步增强对比学习中的正样本多样性，对七种语义文本相似度任务进行广泛实验，
PDFa year ago
高斯嵌入表示的句子表征
本文提出了一种基于高斯分布的对比学习框架 GaussCSE 用于句子嵌入，它可以处理句子间不对称的关系，同时还有一种相似度度量可以识别包含关系。实验证明 GaussCSE 在自然语言推断任务中与之前的方法一样表现出色，并能够估算蕴含关系的方
PDFa year ago
一种简单的即插即用无监督句子表示增强方法
本文提出了一种名为 Representation ALchemy (RepAL) 的极其简单的后处理方法，它通过去除句子嵌入中的冗余信息增强了句子表征，该方法无需训练即可直接应用于大多数现有的无监督句子学习模型，从而有助于现实场景下的语义匹
PDFa year ago
无 PPA：非参数成对注意力随机游走模型的句子表示
提出一种名为 NoPPA 的新型非参数 / 不可训练语言模型，只使用预训练词嵌入和预计数词频来生成句子嵌入，并通过非参数的注意机制打破袋装词语假设的限制。在八个不同的下游分类任务上验证，实验结果显示 NoPPA 在每个数据集上均优于所有基于
PDFa year ago
基于医疗实体定义的句子嵌入
使用医学实体定义的句子嵌入（MED-SE）方法，是一种新颖的无监督对比学习框架，用于临床文本，可在医学实体中心设置下获得更好的性能，在临床和常规领域的文本之间存在固有差异，因此实体中心的对比方法可以弥合这个差距，并产生更好的临床句子表示。
PDF2 years ago
miCSE: 低样本句子嵌入的互信息对比学习
该论文介绍了基于信息熵的对比学习框架 miCSE，它在少样本学习的句子嵌入方面取得了显著进展，并对多个基准数据集优于其他现有方法，是一种简单易实现的自监督学习方法，将打开更为高效而强大的自监督学习方法以实现更好的句子嵌入。
PDF2 years ago
EMNLP生成、判别和对比：半监督句子表示学习框架
本文提出了一种半监督句子嵌入框架 GenSE，通过使用大规模无标注数据，利用生成器 / 鉴别器模型进行句子对的合成和对比学习，实现对带标签和合成数据的句子表示学习，相对于目前最先进的方法，在四项领域适应任务上具有显着的性能提升，平均相关性得
PDF2 years ago
通过样本排列优化的全局对比批次采样
本研究提出一种新的批处理采样方法，Global Contrastive Batch Sampling （GCBS），作为 hard negative mining 的有效替代。实验证明，GCBS 可以显着提高句向量和代码搜索任务的性能，而且
PDF2 years ago
SemEval-2022 任务 2: 多语言习语检测和句子嵌入
这篇论文介绍了跨语种成语识别和句子嵌入的共享任务，包括二分类任务和基于文本相似度的任务，并说明了训练数据、数据集、评估指标、参与系统和结果。这项任务吸引了近 100 个注册参与者，成立了 25 个团队，在实践和评估阶段共提交了超过 650
PDF2 years ago
ACL探究对比学习中负样本对句子嵌入影响的案例研究
本文提出了一种 Momentum 对比学习模型（MoCoSE），用于为句子嵌入提供正负样本，验证了负样本队列的历史信息对模型性能的影响，结果表明历史信息处于某个特定范围时，模型性能最佳。在语义文本相似度（STS）任务中测试，取得平均 Spe
PDF2 years ago