vocabulary extension | BriefGPT

关键词vocabulary extension

搜索结果 - 6

探索构建语言特定的 LLM 的设计选择
通过对已有大语言模型进行适应和扩展，我们研究了构建语言专属的大语言模型。我们通过系统实验探究基础模型选择、词汇扩展和持续微调等设计选择对适应后的大语言模型的效率（编码同样数量信息所需的词汇数）和最终任务性能的影响。我们发现，（1）适应前的初
PDF10 days ago
SambaLingo: 教授大型语言模型新语言
我们详细调查了将 LLMs 适应到新语言的过程，包括词汇扩展、直接优化偏好以及低资源语言中的数据匮乏问题，我们的实验覆盖了 9 种语言和 2 个参数规模，并与先前的基准模型进行比较，我们的模型表现优于所有先前已发表的基准模型。
PDF3 months ago
LLaMA 跨越英语：语言能力转移的实证研究
我们通过对 LLaMA 的实证研究发现，在使用不到 1% 的预训练数据时，可以实现与最先进的转移模型相媲美的性能，无论是在知识对齐还是响应质量方面，这一实验结果在十三种资源匮乏的语言中也呈现出相似的趋势。预计实验的结论将有助于开发非英语 L
PDF6 months ago
OFA：一种为高效大规模多语言持续预训练初始化未见子词嵌入的框架
提出了一种新颖的方法 One For All (Ofa)，通过智能地初始化目标语言中看不见的子词嵌入，从而高效有效地将预训练语言模型（PLMs）适应于多种语言，并通过外部的多语言词嵌入和矩阵分解技术提高效率和性能。
PDF7 months ago
利用神经网络扩展虚构语言的词汇量
本文提出了一种使用深度学习中的风格转移和机器翻译工具，为特定的虚构语言生成新词汇并扩展其词汇量的方法。
PDF2 years ago
EMNLP利用预训练语言模型进行未监督 NMT 的低语料语言重用
通过对两种大规模单语数据进行预先训练的语言模型（LM）初始化无监督神经机器翻译（UNMT）系统可以获得最先进的结果，但当一个语言的数据有限时，则会导致翻译不佳。我们提出了一种有效的方法，该方法重新使用仅在高资源语言上进行预训练的 LM。单
PDF4 years ago