multi-modalities | BriefGPT

关键词multi-modalities

搜索结果 - 7

HIINT: 使用跨人记忆转换器对历史、个人内部和个人之间动态进行建模
通过交叉个人记忆变换器（CPM-T）框架，结合文本和非文本信号来明确地建模情感动力学，实现了对前后谈话内容间的依赖性的捕捉，并通过跨模态关注以有效地对齐来自多模态的信息，并利用跨人关注以对齐多方互动中的行为，该模型在三个公共数据集上的平均
PDFa year ago
HateMM: 一个多模态数据集用于仇恨视频分类
本文旨在通过多模态深度学习模型来从 BitChute 这样的视频分享平台上检测和移除具有仇恨性质的视频内容，该方法采用图像、音频等多种模态分析，比单一模态的分类方法在准确率和 F1 得分等表现指标上有显著提升。
PDFa year ago
AAAI通过训练表示对齐学习紧凑特征
本研究提出了一种名为 In-Training Representation Alignment (ITRA) 的方法，通过匹配损失函数，显式地对两个不同 mini-batch 的 feature distribution 进行校准，从而稳定
PDF2 years ago
基于聚类的生成不完整图像文本聚类 (CIGIT-C)
本研究针对多模态数据，使用一种基于生成网络的不完整图文聚类方法，旨在解决实际情景中数据不完整的问题，并在公开数据集上验证了其性能优于已有方法。
PDF2 years ago
基于离散推理实现复杂文档理解
本文提供了一个名为 TAT-DQA 的新的数据集，包含来自财务报告的，既有半结构化表格和非结构化文本，又有 16558 个问答对。此外，作者发明了一种新的文档 VQA 模型 MHST，可以智能地处理来自多种模态的信息，从而有效地回答不同类型
PDF2 years ago
利用可逆神经网络分析逆问题
本文探讨了逆问题的数学定义，提出了一种称为 Invertible Neural Networks (INNs) 的神经网络模型，利用预定义的正向过程和额外的 latent output variables 来解决参数估计问题，并在人工数据和
PDF6 years ago
使用主题引导生成视频描述
本文提出了一种基于主题导向模型 (TGM) 的视频描述生成模型，同时采用网络爬取的分类标签和无监督话题挖掘模型中的数据驱动话题挖掘来生成面向主题的视频描述。在当前最大的视频字幕数据集 MSR-VTT 上，我们的模型显著超过了 2016 年
PDF7 years ago