masked auto-encoder | BriefGPT

关键词masked auto-encoder

搜索结果 - 7

放弃您的解码器：使用词袋预测进行密集段落检索的预训练
通过使用增强解码的遮蔽自动编码器预训练，显著提高了稠密表示中输入标记的术语覆盖，从而实现了在大规模检索基准上的最先进的检索性能，无需任何额外参数，相比于使用增强解码的标准遮蔽自动编码器预训练速度提高了 67%。
PDF5 months ago
走向稳定可靠的修复填充
提出了一种基于稳定先验的平衡解决方案 ASUKA，以在引导修复细节的同时保持生成能力。通过对齐遮蔽和未遮蔽区域，并采用特殊设计的解码器，ASUKA 显著提高修复的稳定性和真实性，得到了与 SD 和其他修复算法相比的验证效果。
PDF7 months ago
模态不可知的元学习遮蔽自编码器的自监督学习
通过将 Masked Auto-Encoder（MAE）作为一个统一的、与模态无关的自监督学习框架，通过元学习对其进行解读，并从统一提高其在不同模态下的自监督学习的动机出发，我们提出了 MetaMAE。我们的关键思想是将 MAE 的掩码重构
PDF8 months ago
自抽掩蔽自编码器是高效的视频异常检测器
本研究提出了一种基于轻量级掩蔽自编码器的高效异常事件检测模型，它能够利用运动梯度进行权重计算、结合师生解码器来提高检测效果、通过生成合成异常事件来扩充训练数据，同时将原始帧和对应的像素级异常地图一同重新构建，在三个基准测试上表现出优异的速度
PDFa year ago
具有挑战性的解码器有助于稠密通道检索的掩码自编码器预训练
该研究提出了一种基于点互信息的令牌重要性感知遮蔽策略，以加强解码器的挑战，进而构建编码器的表示能力，并在大规模监督通道检索数据集和领域外零 - shot 检索基准上验证了其有效性和鲁棒性。
PDFa year ago
ICLR对比音视频掩码自编码器
本文提出了 CAV-MAE 模型，它将 Masked Auto-Encoder (MAE) 模型从单模态扩展到音频 - 视觉多模态，并结合自监督学习框架中的对比学习和蒙版数据建模两种方法，学习联合和协调的音频 - 视觉表示，并在 VGGSo
PDF2 years ago
EMNLP通过遮蔽自编码器预训练针对检索的语言模型 RetroMAE
本研究提出一种新的基于 Masked Auto-Encoder 的检索导向的预训练模型 RetroMAE，通过三个关键设计，包括污染输入、不对称模型结构和不对称的遮盖比率，取得了令人满意的实验结果，大幅提高了在 BEIR 和 MS MARC
PDF2 years ago