multimodal communication | BriefGPT

关键词multimodal communication

搜索结果 - 6

利用语音进行多模式通信中的手势检测
通过使用 Transformer 编码器对语音和骨架序列进行交叉模态和早期融合技术，本研究在协同语音手势检测方面取得了显著的性能提升，并发现模型的手势预测置信度与与手势相关的语音频率特征存在相关性。
PDF2 months ago
大型 AI 模型赋能的多模态语义通信
利用大型人工智能模型构建的大规模多模态语义通信（LAM-MSC）框架，通过多模态对齐、个性化语言模型和信道状态估计相结合来解决多模态语义通信中的数据异构性、语义歧义和信号衰落等挑战，并通过模拟实验验证了该框架的卓越性能。
PDF10 months ago
MM流动中的观察：使用动作提示学习来适应 CLIP 的动作识别
通过对视频帧中的运动线索进行建模、利用动态提示学习器生成与人类动作相关的运动感知提示并通过多模态交流模块实现协作学习，我们的方法在少样本学习和零样本学习中具有显著优势，并在少参数和额外计算成本的条件下实现了竞争性性能。
PDFa year ago
面向目标驱动的二元交流的情感面孔
本研究介绍了一种视频框架，用于建模双人对话中口头和非口头交流之间的关联，提出了一种通过大型语言模型和视觉 - 语言模型构成的对话建模方法，并提出了一种新的无剧本对话视频数据集，实验和可视化结果表明，该方法能够生成显著更具社交适切性的监听者。
PDFa year ago
ACL社交媒体上图像和文字表达情感的互补性
本文提供具有新颖性的英文 Reddit 帖子语料库，研究多模式社交媒体上图文情感信息的互补性，发现对于某些情感信息如愤怒和悲伤，多模式模型可以更好地预测；而对于某些信息如恶心、喜悦和惊讶，仅以文本信息便足够预测。
PDF2 years ago
ACLMTAG: 模态 - 时间注意力图用于不对齐的人类多模态语言序列
本文提出了可解释的基于图的神经模型 MTAG，通过构建多模态序列数据的图，设计了 MTAG 融合操作和动态修剪和读取技术。MTAG 仅关注图中重要的交互，可在情感分析和情感识别基准测试中实现最先进的性能，同时使用了显著更少的模型参数。
PDF4 years ago