multimodal language model | BriefGPT

关键词multimodal language model

搜索结果 - 7

混合监督语音处理的预训练大型语言模型的离散多模态变换器
本文介绍了一种仅有解码器的离散多模态语言模型（DMLM），可以灵活应用于多个任务（ASR，T2S，S2TT 等）和模态（文本，语音，视觉），并探索了离散多模态模型的几个关键方面，包括损失函数、权重初始化、混合监督训练和码本。结果表明，通过组
PDFa month ago
Pegasus-v1 技术报告
Pegasus-1 是一种专注于通过自然语言实现对视频内容理解和交互的多模式语言模型，其设计旨在解决视频数据所带来的独特挑战，如解释时空信息，以提供对各种长度的视频内容的细致理解。
PDF2 months ago
AnyGPT：统一的多模态离散顺序建模语言模型
我们介绍了 AnyGPT，一种任意到任意的多模态语言模型，它利用离散表示来统一处理各种语言模式，包括语音、文本、图像和音乐。AnyGPT 可以稳定地进行训练，而无需对当前的大型语言模型（LLM）架构或训练模式进行任何修改，而是完全依赖于数据
PDF4 months ago
SpiRit-LM: 交叉融合的口语和书面语言模型
我们介绍了 SPIRIT-LM，这是一个混合文本与语音的基础多模态语言模型。我们基于一个预训练的文本语言模型扩展到语音模态，通过在文本和语音单元上进行连续训练来实现。语音和文本序列被连接为一组单词，并使用小型的自动化筛选的语音 - 文本平行
PDF5 months ago
超越化学语言：多模态方法提高分子性质预测
本文介绍了一种新颖的多模态语言模型方法，结合化学语言表征和物理化学特征，以预测分子性质。我们的方法使用因果多阶段特征选择方法，在 MOLFORMER 生成的分子嵌入向量空间中，将这些因果特征与物理化学特征相结合。我们的结果表明，与现有的化学
PDFa year ago
利用多模态语言模型生成图像
该论文提出了一种方法，通过将文本形式的大型语言模型嵌入图像编码器和解码器模型中，利用它们的嵌入空间之间的映射来融合两者，从而实现多模态的图像检索、新颖图像生成和多模态对话，同时还能生成并处理图像和文本输入，比非基于 LLM 的模型在一些基于
PDFa year ago
ChatBridge：利用大型语言模型作为语言催化剂桥接语言形式
本文提出了一种名为 ChatBridge 的多模态语言模型，利用语言的表达能力作为各种模态之间的桥梁，从而实现多种任务的感知。ChatBridge 利用大型语言模型（LLM）的零 - shot 能力来处理多样化的多模态输入，尤其是在涵盖文本
PDFa year ago