muse | BriefGPT - AI 论文速递

关键词muse

搜索结果 - 9

利用大型语言模型纠正社交媒体的错误信息
通过提供准确可信的解释和参考资料，以及纠正多模态信息，MUSE 扩展了大型语言模型的能力，表明了使用 LLMs 有效和高效地应对现实世界的错误信息的潜力。
PDF4 months ago
PixelLM：使用大型多模型进行像素推理
通过引入 PixelLM，一种高效且有效的大规模多模态模型，该论文解决了对涉及多个开放世界目标的图像推理任务生成像素级掩码的挑战，并在多个基准测试中表现出色，证实了各个组成部分的有效性。
PDF7 months ago
基于交换的多模态融合和转换器
本研究探讨多模态融合的问题，提出一种基于 Transformer 的新型文本 - 图像融合模型 MuSE，并通过 CrossTransformer 在多模态之间交换知识。在 Multimodal Named Entity Recogniti
PDF10 months ago
ACL多源语义图基础的多模态讽刺解释生成
该研究提出了一种名为 TEAM 的新的、基于多源语义图的多模态讽刺解释方案，从输入图像中提取对象级语义元数据，使用 ConceptNet 获取外部相关知识概念，并引入多源语义图来全面描述多源语义关系，以促进讽刺推理。
PDFa year ago
Muse: 通过 Masked 生成变压器实现文本到图像生成
Muse 是一种基于遮蔽建模任务在离散令牌空间中训练的文本到图像 Transformer 模型，借助预训练的大型语言模型，实现了高度还原原始文本意图的图像生成能力，同时也能够直接应用于图像编辑等任务。
PDF2 years ago
AAAI好香的香水。你泡在里面泡了多久？多模态的讽刺解释
该论文提出了一个新的问题：多模态讽刺解释（MuSE），旨在针对一个带有图像和标题的多模态讽刺贴文，生成自然语言解释以揭示意图的讽刺。通过使用一个跨模态注意力的 Transformer 编码器，并使用 BART 的自回归解码器作为生成器，该论
PDF3 years ago
MM基于混合多模态融合的情感维度识别
本研究使用德语说话者的 Ulm-TSST 数据集，通过使用音频 - 视觉记录和生物信号特征来预测情绪唤醒和价值评估的水平，利用 LSTM 和自我注意机制来捕捉其复杂的时序依赖关系，并借助迟到融合策略进一步提高其识别性能。
PDF3 years ago
ICML基于非配对图像转换 GAN 模型的无切片 MUSE 显微镜到 H&E 组织学模态转换
通过评估 4 个模型，我们发现 CycleGAN 工具在 MUSE 到 H＆E 转换中表现最佳，还发现 MUSE 颜色反转对于准确的模态转换可能是必要的。
PDF4 years ago
无监督语义嵌入的模块化
本文提出了一种新的用于无监督学习的模块化方法 MUSE，该方法使用灵活的模块来优化词义表示学习和有效的词义选择，并采用强化学习来进行联合训练。实验证明，该方法在同义词选择和语境词相似性方面具有最先进的性能。
PDF7 years ago