masking strategy | BriefGPT

关键词masking strategy

搜索结果 - 9

CVPR高效的视觉 - 语言预训练：基于聚类遮挡
我们提出了一种简单的策略，用于在视觉语言对比学习中遮盖图像补丁，从而提高所学表示的质量和训练速度。该策略随机遮盖视觉上相似的图像补丁群集，并通过强制模型仅根据上下文预测遮盖的视觉结构的单词，提供额外的学习信号，从而超过其他遮盖策略（如 FL
PDF3 days ago
ACL通过掩码特定损失提高预训练语言模型的敏感性：以生物医学 NER 为案例研究
通过适当加权领域特定术语并加入遮蔽策略，提高语言模型的灵敏度和检测领域特定术语的能力。
PDF2 months ago
自助式视频去雾技术在腹腔镜手术中的应用
通过引入自监督手术视频去烟除雾（SelfSVD）方法，我们解决了合成烟、处理密集烟雾以及提高烟雾去除效果的问题，并构建了一个真实手术视频数据集，实验证明 SelfSVD 比现有方法更有效地去除烟雾并恢复更真实的细节。
PDF2 months ago
EAT：高效音频 Transformer 的自监督预训练
提出了高效音频 Transformer（EAT）模型，通过自监督训练范式和新颖的话语 - 帧目标（UFO）增强声音事件建模能力，探究了掩模策略在音频自监督学习中的关键性作用，并在多种音频相关任务中实现了最先进的性能，并且相比现有的音频自监督
PDF4 months ago
SMOOT：基于显著性引导的掩模优化在线训练
通过提出一种基于输入、准确性和模型损失的遮蔽图像数目的最佳确定方法，本文旨在解决遮蔽策略的问题，以提高模型的准确性和突出性，从而证明所提出的解决方案的有效性。
PDF8 months ago
联合嵌入预测架构的图像自监督学习
该研究论文使用了无需手工制作的数据增强方法来学习高度语义化的图像表示，引入了 I-JEPA 框架，通过从单个上下文块中预测同一图像中的各种目标块的表示来实现自我监督学习。实验结果表明，与 Vision Transformers 相结合，I-
PDFa year ago
EMNLP遮盖正确令牌：一种令人尴尬简单的错误修正方法
本文探讨了正确标记应如何更好地被利用以促进有效训练的文本错误纠正方法，并提出了一种基于随机蒙版的简单而有效的策略来实现这个目标。在汉语数据集的拼写错误纠正和语音识别错误纠正以及英语数据集的语法错误纠正实验中，我们的方法提高了校正精度。
PDFa year ago
战略性学习：学习如何在闭卷问答中进行遮盖
通过训练遮盖策略，从而在中间预训练阶段将任务相关知识封装到语言模型的参数中，该方法在 TriviaQA 上的表现优于强启发式方法，而用于 BART 的表现则更为强大。
PDF3 years ago
ERNIE: 知识融合增强的表示学习
ERNIE 是一种新颖的语言表示模型，通过知识集成增强，它设计了基于实体级屏蔽和短语级屏蔽的屏蔽策略，实验结果证明，ERNIE 在自然语言推理、语义相似性、命名实体识别、情感分析和问答等五个中文自然语言处理任务上均取得了新的最佳表现。
PDF5 years ago