visual signals | BriefGPT - AI 论文速递

关键词visual signals

搜索结果 - 9

情绪增强的多模一次拍摄头像
我们对 MegaPortraits 模型进行了深入的检查和评估，重点关注其用于面部表情描述符的潜在空间，并发现了其表达强烈面部动作能力的几个局限。为解决这些限制，我们提出了针对训练流程和模型架构的重大改进，推出了我们的 EMOPortrai
PDF2 months ago
ACLSCANNER: 基于知识增强的鲁棒多模态未见实体命名识别方法
最近的研究已经将命名实体识别推向较先进阶段，融入了视觉信号，以致产生了多模态命名实体识别（MNER）或基于图像的 MNER（GMNER）的多个变种。我们提出了 SCANNER（用于 NER 的 Span 候选检测和识别），一种能够有效处理这
PDF3 months ago
语言理解通用多模态表示
本文提出了一种新方法来将视觉信息作为协助信号用于 NLP 任务，使用 Transformer 编码器和卷积神经网络来对文本和图像进行编码，通过注意力层将两种模态的表征进行融合，实验结果表明，该方法在不同的任务和语言中都具有很好的效果。
PDFa year ago
社交推理游戏中说服行为建模的多模态数据集：我们中的狼人
本文介绍了第一个模拟说服行为的多模态数据集，并使用对话背景和视觉信号提供了广泛实验证明，展示了说服策略预测的益处和语言模型对说服建模的泛化能力。
PDF2 years ago
ACL从视觉信号探索空间常识中未被书写的事物
本研究利用图像合成的方法，构建了一个专注于对象相对尺度和位置关系的空间常识基准，并证明相较于文本预训练模型，具有视觉信号的模型更能准确和持续地学习空间常识，从中获得的知识也可用于具有空间常识的自然语言理解任务。
PDF2 years ago
多尺度视觉变换器
Multiscale Vision Transformers 是一种用于视频和图像识别的多尺度特征层级转换器，它可基于视觉信号的密集性建模逐渐展开通道容量和降低空间分辨率得到的多尺度特征金字塔，它能优于大规模的外部预训练及在计算和参数方面更
PDF3 years ago
从视频中生成视觉对齐的音频
本文提出了一个名为 REGNET 的框架，利用外观和运动特征从视频帧中提取物体发出的声音，结合创新的音频转发正则化器进行更强的声音预测监督，在训练过程中使用了可控制影响因素的正则化器，并通过 Amazon Mechanical Turk 进
PDF4 years ago
野外条件下的深度情感预测：Aff-Wild 数据库和挑战，深度架构以及未来展望
本文介绍了一种基于视觉信号的深度神经网络自动识别情感的方法，提出了适用于情感识别算法训练和评估的 Aff-Wild Benchmark，以及使用这一数据库 achieving best performances both for dimen
PDF6 years ago
AAAIVBPR：使用隐式反馈的视觉贝叶斯个性化排序
本文利用预先训练的深度神经网络提取商品图像的视觉特征，并在此基础上构建一个可扩展的因式分解模型，将视觉信号与人们的偏好相结合，从而提高了个性化推荐和排名的准确性，并缓解了 “冷启动” 问题。
PDF9 years ago