vocabulary expansion | BriefGPT

关键词vocabulary expansion

搜索结果 - 12

低资源跨语言迁移的词汇扩展
通过在不同角度研究目标词汇规模、初始化方法以及可用于适应的目标数据量，我们在语料资源有限的环境中发现，基于简单启发式的词向量初始化方法更高效、更稳定，能够在目标词汇规模和适应数据变化时胜过常用的随机初始化和更复杂依赖外部数据和模型的最先进方
PDF15 days ago
跨语言 LLM 自适应持续预训练：增强日语语言能力
本研究通过跨语言连续预训练来提升大规模语言模型的日语能力，并扩展了词汇表以包括日语字符，通过在大规模网页语料库上进行连续预训练，结果表明，Swallow 在日语任务上的性能显著提高，并且随着训练数据量的增加而逐渐增强，相比从头开始训练的其他
PDF2 months ago
X-LLaVA: 优化双语大型视觉语言对齐
我们提出了两种解决多模态模型创建训练数据方面的问题的有效方法，并基于这些方法构建了一个 91K 的英 - 韩 - 中多语言多模态训练数据集，并开发了一种双语多模态模型，在韩语和英语方面表现出优秀的性能，超过了现有方法。
PDF3 months ago
优化多语言大型语言模型的语言增强：以韩文为例的案例研究
本研究提出了三种策略以增强不太具备资源的语言在大型语言模型中的表现：扩展词汇表、使用双语数据进行预训练以对齐高资源语言和低资源语言、构建高质量的小规模指令数据集并进行指令微调。通过对比八个任务的其他大型语言模型，在质量分析中，我们的提出的
PDF4 months ago
多语言大型语言模型的高效有效词汇扩展
介绍了 EEVE-Korean-v1.0，这是一个在英语和韩语文本理解方面表现出非凡能力的韩语适应版本的大型语言模型。通过引入一个高效有效的词汇扩展（EEVE）方法，该模型能够显着提升非英语能力。EEVE-Korean-10.8B-v1.0
PDF4 months ago
多语言翻译的像素表达和数据效率跨语言迁移
使用像素表示方法来训练多语言机器翻译模型，实现了与子字嵌入相媲美的性能，并发现像素表示具有无缝跨语言迁移和比扩展词汇等替代方法更高的数据效率
PDFa year ago
ECCV使用图像级别监督检测二万个类别
使用 Detic 来训练检测器分类器以扩展其词汇量，从而实现对数万个概念的检测，无需复杂的分配方案，可适用于一系列检测体系结构和骨干网络，在开放词汇和长尾检测基准测试中优于以往的工作。
PDF2 years ago
ACL适应并蒸馏：为特定领域开发小型、快速且高效的预训练语言模型
本文介绍了一种开发特定领域小型、快速和有效的预训练模型的通用方法，该方法通过对通用预训练模型进行调整，以及在目标领域进行任务无关的知识蒸馏来实现。具体而言，在适应阶段，我们提出了领域特定词汇扩展，并使用语料库级别出现概率自动选择增量词汇表的
PDF3 years ago
利用双语词典进行低资源半监督神经机器翻译
本研究提出了一种基于双语词典的数据增强技术，使得机器翻译模型能够扩展词汇表而不会影响低资源环境下的合成句子的质量，我们的方法在性能上表现出可观的改进。
PDF4 years ago
CVPR图像字幕生成中的新颖物体指示
提出了一种新的深度图片描述模型 Long Short-Term Memory with Pointing (LSTM-P)，结合对象学习方法和指向机制实现了词汇的扩充和全局物体涵盖。在 COCO 数据集和 ImageNet 数据集上的实验结
PDF5 years ago
MM基于分支熵选择大词汇量的神经机器翻译模型
本文基于分支熵的统计方法，提出一种扩展词汇表的神经机器翻译方法，使其适用于翻译专利文件等包含大量罕见技术术语的情况。通过对选定的短语进行 SMT 短语翻译表替换，达到显著的机器翻译错误减少和翻译精度提升。
PDF7 years ago
EMNLP受导引的基于开放词汇的图像描述生成与约束束搜索
使用约束束搜索的方法和固定的预训练词嵌入，使得现有的深度图像描述模型能够利用图像标签器在测试阶段进行标注，从而实现新颖场景或对象的图像生成。该方法的结果表明了它在 MSCOCO 上获得了良好的表现，甚至优于采用相同标签预测的学习算法。同时，
PDF8 years ago