alignment module | BriefGPT

关键词alignment module

搜索结果 - 6

CVPR使用扩散模型在图像中自动进行虚拟产品放置和评估
介绍了一种新颖的三阶段全自动虚拟产品放置系统，通过语言引导图像分割模型识别出图像中适合进行产品修复的区域，并使用经过微调的 Stable Diffusion 算法将产品修复到先前识别出的候选区域中，最后引入一个 “对齐模块” 有效地筛选出质
PDF2 months ago
STAT: 通往可推广的时间动作定位
提出了一种弱监督时序动作定位算法 STAT，通过引入自监督时序自适应教师模块和对齐模块，在不同数据分布下显著提高了动作定位方法的泛化能力。
PDF2 months ago
TMP：在线视频超分辨率的时域动作传播
提出了一种高效的时间运动传播（TMP）方法，利用运动场的连续性实现连续帧之间的快速像素级对齐，通过先前帧的偏移向当前帧传播，并在邻域内进行进一步调整，同时对扭曲特征进行空间加权，以增强对齐的鲁棒性。
PDF7 months ago
Macaw-LLM：多模态语言模型与图像、音频、视频和文本混合
本研究提出 Macaw-LLM，一种新型的多模式学习模型，可以无缝整合视觉、音频和文本信息，其中主要包括三个模块：一种用于编码多模式数据的模态模块，一种利用预训练 LLM 的认知模块，和一种用于协调多样化表示形式的对齐模块，并在此基础上构建
PDFa year ago
视频超分辨率变换器中的对齐方式反思
本文重新思考了 VSR Transformers 中对齐模块的作用，并通过实验证明，采用 patch alignment 对 VSR Transformers 的性能有助于提高。
PDF2 years ago
无监督文本转语音合成与无监督自动语音识别
该论文提出了一种基于对齐模块输出伪文本和另一个合成模块使用伪文本进行训练和实际文本进行推断的无监督文本转语音综合系统，可以在每种语言的 10-20 小时语音中实现与监督系统相当的性能，并开展了对文本单元和声码器影响的研究。
PDF2 years ago