multimodal cues | BriefGPT - AI 论文速递

关键词multimodal cues

搜索结果 - 7

FunnyNet-W：野外视频中的多模态学习有趣时刻
通过跨和自注意力模型，FunnyNet-W 使用视频中的视觉、音频和文本数据，预测出有趣的时刻，同时提出了一种无监督方法来获取训练标签。实验结果表明，FunnyNet-W 成功地利用了视觉、听觉和文本线索来识别有趣的时刻，并在各个数据集上创
PDF6 months ago
SSLCL: 一个高效的模型无关的自监督对比学习框架，用于对话情感识别
利用监督对比学习的高效模型无关框架 SSLCL，通过将离散标签转化为密集嵌入，同时最大化样本特征与其对应的真实标签嵌入的相似性，并最小化样本特征与不同类别标签嵌入的相似性，从而实现在情感识别任务中提高性能的目标。
PDF8 months ago
CVPR面向隐私敏感环境的视线目标预测模块化多模态架构
本文提出了一种使用多模态线索，采用注意机制的模块化架构，以检测观察者线路中的障碍物并应用关注优先级，从而更好地实现识别和利用先验知识的方法，并在 GazeFollow 和 VideoAttentionTarget 公共数据集上展示了最先进的
PDFa year ago
无监督语法归纳是否需要像素？
本论文探究了多模态线索对于语法成分归纳是否仍然存在显著收益，发现相对于以往多模态方法，基于大型语言模型的 C-PCFG（LC-PCFG）方法在无监督的成分归纳任务中表现更好，并且在参数计算上可以降低 50% 以上，在图像辅助模型的训练时间上
PDF2 years ago
利用对比学习进行带门限的多模态融合，以预测人机对话中的轮流发言
本研究采集了一组大规模的多模式对话语料库，并设计了一种新的门控多模式融合机制来利用各种信息进行转换预测。为了解决数据不平衡问题，我们设计了一种简单且有效的数据增强方法，通过对比学习得到更好的特征表示。实验证明，我们的模型在多个方面表现优异，
PDF2 years ago
ICCV使用语言和手势的具身化参考理解
本文介绍了 YouRefIt，这是一个以多模态引用为基础的数据集，集合了 432 个室内场景中 4195 个唯一的引用片段，并介绍了两种基准图像和视频的多模态引用理解方法。实验提供了关于如何理解参考表达和手势对物理情境引用的重要证据。
PDF3 years ago
ACL多模态讽刺检测（一篇_显然_完美的论文）
本文提出了一个基于多模态线索的新的讽刺数据集 (MUStARD)，并且证明了将多模态信息应用于讽刺检测可以将相对误差率降低高达 12.9%。
PDF5 years ago