visual alignment | BriefGPT

关键词visual alignment

搜索结果 - 7

视频同步的文本到语音生成
近期，研究人员在文本转语音生成方面的关注度不断增加，本研究提出了一个名为 T2AV-Bench 的创新基准和一个简单而有效的视频对齐文本到音频生成模型 T2AV，通过整合视觉对齐的文本嵌入到生成模型中，通过时间多头注意力转换器从视频数据中提
PDF4 months ago
VisAlign：度量人工智能与人类在视觉感知中的对齐程度的数据集
本文提出了一个新的数据集，用于衡量 AI 与人类在图像分类方面的视觉对齐，分析了五种流行的视觉感知模型和七种弃权方法的可靠性和视觉对齐。
PDFa year ago
DiffAVA: 带视觉对齐的个性化文本到音频生成
该文章提出了一种基于视觉对齐的新型个性化文本转语音生成方法 ——DiffAVA，它使用多头注意力变换器聚合视觉特征的时间信息，并利用双模残差网络将时间视觉表示与文本嵌入进行融合，然后采用对比学习目标来匹配视觉对齐的文本嵌入和音频特征。研究结
PDFa year ago
缓解协变量和条件偏移的领域泛化
本文提出一种新颖的领域泛化方法，通过视觉对齐和基于不确定性引导的置信度集成 (VAUE) 来处理分布偏移，在 4 个广泛使用的数据集上展示了其卓越的性能。
PDF2 years ago
CVPRGAN 监督下的密集视觉对准
本研究提出了 “GAN 监督学习” 框架，该框架通过 GAN 生成的训练数据，同时学习判别模型，以及针对密集视觉对准问题的 GANgealing 算法，该算法采用 Spatial Transformer 将 GAN 生成的未对准数据随机样本
PDF3 years ago
AAAI基于 14 万路分类器的蛮力人脸特征分析
本研究提出了一个简单的面部关键点估计的视觉对齐方法，使用 K-way 分类而不是常规的回归问题，通过使用多标签损失函数和分布式处理等技术，实现精细分类。
PDF6 years ago
基于序列对齐的连续动作识别
本文提出了基于动态时间扭曲 (DTW) 框架的动态帧扭曲 (DFW) 技术，该技术能够对视频进行基于逐帧表示的单独识别，并对测试序列与模型序列进行对齐。并提出了一过程 DFW 和二过程 DFW 两种方法，使其能够与分割同时进行。在 RAVE
PDF10 years ago