BriefGPT.xyz
Oct, 2023
语言模型是通用嵌入器
Language Models are Universal Embedders
HTML
PDF
Xin Zhang, Zehan Li, Yanzhao Zhang, Dingkun Long, Pengjun Xie...
TL;DR
大语言模型(LLM)革命中,嵌入是各种系统的关键组成部分。在本文中,我们迈出了迈向构建强大统一的嵌入模型的第一步,证明了多种语言(自然语言和编程语言)的预训练变换器解码器在有限英文数据微调后能够实现普遍嵌入。我们对各任务进行了全面实践和彻底评估,结果表明这是一条有希望的道路,可以应用于不同任务和语言。
Abstract
In the
large language model
(LLM) revolution,
embedding
is a key component of various systems. For example, it is used to retrieve knowledge or memories for LLMs, to build content moderation filters, etc. As such
→