multimodal architecture | BriefGPT

关键词multimodal architecture

搜索结果 - 9

定向领域微调：为特定训练任务定制分开的模态
通过使用 LORA 方法，我们提出了使用特定领域的信息数据集进行模型参数微调的方法，我们的研究旨在提高 Video-LLaVA 模型在烹饪视频中生成特定食材列表和详细指导的能力。
PDF10 days ago
驾驶与 LLMs：融合物体级别向量模态进行可解释自动驾驶
基于大型语言模型的自动驾驶行动生成方法在泛化性能和可解释性方面显示出潜力，提出了一种独特的对象级多模态语言模型体系结构，将向量化数值模态与预训练的语言模型相结合，以提高驾驶情境的上下文理解能力，通过新的数据集和评估度量，展示了该方法在解释驾
PDF9 months ago
AudioPaLM：一种可以说话和听取的大型语言模型
AudioPaLM 结合了 PaLM-2 和 AudioLM 两种语言模型，实现了对文本和语音的处理和生成，在语音识别和语音翻译等应用中具有优异性能，并且具有零 - shot 语音到文字翻译的能力。
PDFa year ago
一种新的多模态动态融合网络用于口语话语中的干扰检测
本研究提出了一种基于早期融合和自注意力的多模态交互的新颖多模态体系结构，通过使用文本和声学模态之间的多模态动态融合网络，在个体话语中进行语调检测，结果表明在英语 Switchboard 上，我们的模型实现了最先进的效果，并且在文献中优于以前
PDF2 years ago
在 Twitter 上阐明难民从流离失所到归属感的成长仪式
该研究利用 Arnold van Gennep 的人类学工作《Les Rites de Passage》中的分离 - 转换 - 吸收框架，探讨难民从家到庇护国的旅程的四个阶段，并证明了多模态语言和图像识别模型结合的性能胜过单模态模型，并且在
PDF2 years ago
ACLSemEval-2022 任务 5 中的 TIB-VA: 用于检测和分类具有厌女症倾向的 Meme 的多模态架构
本文提出了一种多模态架构，通过结合文本和视觉特征来检测具有女性仇恨倾向的 Internet 媒体，该解决方案在 SemEval-2022 Task 5：MAMI 挑战中所取得的最佳的成绩，其中包括对有羞辱、刻板印象、物化和暴力等亚类的分类。
PDF2 years ago
电子商务的多模态属性提取
本文介绍了一种基于多模态架构和深度模型的方法，从文本和图像中提取商品属性，旨在改善在线市场的用户体验。在实验中，该方法表现出良好的效果，并成功应用于 Rakuten-Ichiba 等在线市场。
PDF2 years ago
LaTr: 面向场景文本 VQA 的布局感知 Transformer
提出了一种新的多模态体系结构 Layout-Aware Transformer（LaTr）来进行场景文本视觉问答（STVQA），并提出了一种单一目标的预训练方案，该方案仅需要文本和空间线索。 LaTr 通过将语言和布局信息联系起来，可以学习
PDF3 years ago
对话作为不确定性下的行为
提出了一种基于四个相互依存的分析水平，在口语交互中支持鲁棒性连续对话的任务独立、多模态体系结构 Quartet。通过开发使用 Quartet 的两个口语对话系统 Prsenter 和 Bayesian Receptionist，介绍了处理控
PDF11 years ago