Jun, 2024

D2LLM：分解和蒸馏的大型语言模型用于语义搜索

PDF
TL;DRD2LLMs-Decomposed and Distilled LLMs combine efficient bi-encoders with pooling by multihead attention and interaction emulation module, achieving nuanced understanding and pre-computability, surpassing baselines in various tasks.
semantic searchbert-style bi-encodersgpt-style llmsd2llms-decomposed and distilled llmsnuanced understanding
发现论文，激发创造
  • 将 LLMs 转化为跨模态和跨语言检索系统

    使用大型语言模型进行多模态双编码检索系统，能够在多种语言中匹配语音和文本，提升召回率并实现跨语言匹配。

    Apr, 2024

  • 大型语言模型不是你所需的全部

    本文描述了解决 SemEval 2023 Task 2：MultiCoNER II（多语言复杂命名实体识别）问题所构建的体系结构和系统。我们评估了两种方法：传统的条件随机场模型和经过自定义头部微调的大型语言模型（LLM），并比较了这两种方法。我们探索的新想法有：1）衰减辅助损失（带剩余项）- 在模型上训练粗粒度 NER 的辅助任务并将其包括在损失函数的一部分中；2）三元标记混合 - 探索在最终 NER 层中预测之前混合相邻标记的嵌入方式；3）任务最优头部 - 探索各种用于 LLM 最终层的自定义头部和学习率。我们还尝试了多个 LLM，包括 GPT-3，并在最终模型中使用了多种 dropout 和其他超参数设置，该模型在开发数据上达到了 0.85/0.84 的微观和宏观 F1 值，并在测试数据上达到了 0.67/0.61。我们证明，虽然预训练的 LLM 本身相对传统模型带来了很大的改进，但通过上述额外特征 / 损失 / 模型工程技术的增强，我们还可以显著提高宏观 F1 分数。

    Jan, 2024

  • LLM2Vec: 大型语言模型是强大的文本编码器

    我们引入了 LLM2Vec，这是一种简单的无监督方法，可以将任何解码器模型转换为强大的文本编码器，通过三个简单步骤：启用双向注意机制，掩码下一个标记预测和无监督对比学习，在英语词和序列级任务中，LLM2Vec 在词级任务上远远超过编码器模型，在 Massive Text Embeddings Benchmark (MTEB) 中获得了新的无监督最新性能，通过与有监督的对比学习相结合，我们在 MTEB 上实现了使用公开数据训练的模型的最新性能。

    Apr, 2024

  • 大型语言模型的语义压缩

    本研究探讨了大型语言模型在近似压缩和语义压缩方面的应用及其效果评价，并提出了二元评价指标：是否精确重构 (ERE) 和语义重构有效性 (SRE)，结果表明 GPT-4 可能有效地压缩和重构文本，并保留原始文本的语义要素。

    Apr, 2023

  • 将 LLM 的分解能力提取为简洁的语言模型

    通过离线强化学习将大型语言模型（LLM）的分解能力融入紧凑模型，我们利用 LLM 能力的进步提供反馈并生成专门的任务特定数据集来训练紧凑模型，该研究的主要贡献是开发了一个 AI 生成的数据集和建立了基线，强调了紧凑模型在复制复杂问题解决能力方面的潜力。

    Feb, 2024

  • 不要总是看向右边：探究基于解码器的大型语言模型在序列标注中的能力

    提前训练的语言模型能够通过改进序列标记任务的表现，优于基于自回归语言模型的编码器，并通过去除因果掩码在信息提取任务中取得了与前沿模型相媲美的性能。

    Jan, 2024

  • DTS-SQL：基于小型大语言模型的分解文本到 SQL

    通过将文本到 SQL 任务分解为两个较简单的任务，我们引入了一种新的两阶段微调方法，以减少对专有大型语言模型（LLMs）的依赖，从而提高开源模型的执行准确率，减轻数据隐私的忧虑。通过对两个大型跨领域数据集和两个小型 LLM 的全面评估，我们证明这种方法将开源模型的性能与专有模型相一致，执行准确率提高了 3 到 7 个百分点。

    Feb, 2024

  • TransLLaMa: 基于 LLM 的同步翻译系统

    经过小规模数据集上的微调后，预训练的开源解码器 - 仅模型可以通过生成特殊的 “等待” 标记直接控制输入分段，从而在同时翻译任务中达到与最先进基准模型相媲美的 BLEU 分数；尚未进行先前训练的闭源模型在此任务中显示出令人鼓舞的结果，为改进未来的同时翻译系统指明了一个有希望的方向。

    Feb, 2024

  • 多语言大型语言模型与多语言性诅咒

    多语言大型语言模型在自然语言处理领域的研究人员和从业者中广受欢迎。本文介绍了多语言大型语言模型的技术方面，并对其底层架构、目标函数、预训练数据来源和分词方法进行了概述。此外，还探讨了不同模型类型的独特特征，包括仅编码器模型、仅解码器模型和编码器 - 解码器模型。同时，还讨论了多语言大型语言模型的一个重要局限性，即多语言之间的相互影响问题，并探究了克服这一问题的当前尝试。

    Jun, 2024

  • 编码器 LLMs 骨干的定向可视化

    基于注意力机制的大型语言模型（LLMs）是自然语言处理（NLP）领域中的最先进技术。本文聚焦于编码器（如 BERT）模型，研究其在可解释人工智能方面的风险和对抗性攻击，并探索在 NLP 领域中应用 DeepView 的可行性。

    Mar, 2024