Apr, 2024

增强生成语言模型中的句子嵌入的简单技术

PDF
TL;DR本研究挑战了从预训练语言模型（PLMs）中获得句子嵌入所必须的显式单字限制的普遍观点，并通过实验证明了这种方法对于判别模型或生成型 PLMs 的精调并非必需。在此基础上，我们提出了两种创新的提示工程技术，可以进一步增强 PLMs 原始嵌入的表达能力：假装的思路链和知识增强，并详细研究了导致其成功的潜在因素。
sentence embeddingnatural language processingsearch enginesfine-tuninglanguage models
发现论文，激发创造
  • 使用预训练语言模型生成数据集

    本文介绍了一种利用预训练语言模型生成标注文本数据集的方法，从而实现高质量的无监督学习得到的句子嵌入。实验结果表明，这种方法在多个语义文本相似性测试数据上实现了比较好的性能表现。

    Apr, 2021

  • 通过基于大型语言模型的文本补充和重写增强嵌入性能

    利用大型语言模型丰富和重写输入文本，改善嵌入模型的性能，并在特定领域取得显著改进。

    Apr, 2024

  • 基于合成数据识别的句子相似性重新加权策略

    通过训练分类器识别 PLMs 生成的数据，我们提出了一种新的方法来训练可靠的句子嵌入模型，从而得出更良好的效果。

    Aug, 2022

  • 从自动挖掘的同义句训练有效的神经句子编码器

    本文提出了一种无需人工标注的数据集构建方法，使用双语文本语料来 fine-tune Transformer 语言模型，并加入一个循环池层构建出有效的特定语种句子编码器，该方法在单张图形卡上使用不到一天时间训练，在波兰语的八个语言任务上实现了高性能，超越了最好的多语言句子编码器。

    Jul, 2022

  • 使用监督对比学习的句子嵌入

    本文提出了一种使用对比学习进行监督学习 Fine-tuning 预训练 BERT 模型以创建高效句子嵌入的新方法，相比于只使用基于交叉熵的监督学习的当前最先进方法 SBERT，我们的方法可以在句子转换和语义文本相似度基准测试上改进 2.8％和 1.05％。

    Jun, 2021

  • 有监督的知识提升大语言模型在上下文学习中的表现

    通过提示工程，大型语言模型（LLMs）展示了在上下文学习中的新兴能力。最近在大规模生成模型方面的进展进一步扩展了它们在实际语言应用中的使用。然而，在自然语言理解和问题回答方面，提高 LLMs 的泛化能力和准确性的关键挑战仍未得到充分探索。

    Dec, 2023

  • 评估句子嵌入中的组合性

    本文介绍了一个新的自然语言推理任务数据集，旨在解决人工智能中的句子组成意思的问题，使用深度神经网络学习语义向量表示法，得出发现表明 Inference 等现有句向量算法性能较差，但使用本文提供的数据集进行训练，可提高测试性能和提高人工智能系统的表现水平。

    Feb, 2018

  • 面向图文生成的逐阶微调算法

    本文提出了一种带有两个阶段微调机制的结构化图文模型，结合传统的标记和位置嵌入以及新颖的树级嵌入方法，显著提高了英语 WebNLG 2017 数据集的所有文本生成指标

    May, 2021

  • 利用大型语言模型改进文本嵌入

    通过使用合成数据和少于 1k 个训练步骤，我们引入了一种获取高质量文本嵌入的新颖简单方法。与现有方法不同，我们的方法不需要构建复杂的训练流程或依赖于常常受到任务多样性和语言覆盖性限制的人工收集的数据集。通过利用专有 LLMs 在近 100 种语言中生成大量多样化的合成数据，我们使用标准对比损失在合成数据上微调开源的只解码 LLMs。实验证明，我们的方法在高度竞争的文本嵌入基准上具有强大的性能，而不使用任何标记数据。此外，当用合成数据和标记数据的混合进行微调时，我们的模型在 BEIR 和 MTEB 基准上创造了最新的技术成果。

    Dec, 2023

  • 文档连贯性建模评估

    在理解预训练语言模型对话建模能力方面，我们提出了一种句子入侵检测任务，并在英语方面检查了一系列预训练 LM 的性能。我们通过构建包含英语维基百科和 CNN 新闻文章的 170,000 + 文档的新型入侵句子检测数据集 INSteD，显示预训练 LM 在域内评估中表现出色，但在跨域设置中经验了大幅下降，表明其对跨域推广的能力有限。进一步的，在一个新的语言探测数据集上的结果表明，在跨域设置中有很大的改进空间。

    Mar, 2021