masked language modeling | BriefGPT

关键词masked language modeling

搜索结果 - 69

MMGLIPv2: 统一定位和视觉语言理解
GLIPv2 是一个基于视觉语言的预训练模型，将定位预训练与语言视觉预训练相结合，并具有短语地基、区域 - 单词对比学习和遮蔽语言建模三个预训练任务。该模型在各种定位和理解任务上表现接近最好的水平，同时也显示了强的零件和少量样本识别性能，以
PDF2 years ago
MaskEval: 基于加权 MLM 的文本摘要和简化评估
该研究提出了一种适用于文本摘要和简化的无需参考的评估测量方法 MaskEval，该方法使用了掩码语言模型，通过注意力权重机制来调节每个 MLM 步骤的重要性，从而实现了对不同质量维度的适应性评估。
PDF2 years ago
ACL使用掩码语言模型进行多语言时态词语归一化
提出了一种基于遮蔽语言模型的新型神经网络方法用于归一化时间表达式，其在多语言情况下优于传统的基于规则的系统，并在低资源语言方面取得了高达 33 F1 的表现提升。
PDF2 years ago
ACL基于提示的少样本语言学习的对比学习
本文提出一种基于对比学习的框架，使用不同的增强 “视图” 将同一类别的输入聚类，远离来自不同类别的输入，将对比损失与标准的掩码语言建模（MLM）损失相结合，并应用于基于提示的少样本学习者，实验结果表明，我们的方法在 15 种不同的语言任务中
PDF2 years ago
SimpleBERT：一种预训练模型，学习生成简单单词
本研究提出了一种基于预训练模型的文本简化方法，通过新的掩码语言建模机制和小规模文本数据集的持续预训练，最终获得了一种名为 SimpleBERT 的模型，该模型在词汇简化和句子简化任务中均超过了 BERT，并在多个数据集上取得了最先进的结果。
PDF2 years ago
AAAI现场表示优化的文本修订
本文提出了一种基于 Transformer、掩蔽语言模拟和属性分类的迭代就地文本修订方法，可以实现无需平行数据的文本修订，并在两个典型的文本修订任务上实现了竞争性和甚至更好的性能。
PDF2 years ago
ECCV学生不应看到的内容：基于注意力引导的遮蔽图像建模
本文阐述了在计算机视觉领域中采用 Transformer 和掩蔽语言模型的新趋势，即视觉 Transformer 和掩蔽的图像建模 (MIM)。我们认为，在 MIM 中，图像记号掩蔽与文本中的掩蔽不同，因为它们之间的记号数量和相关性不同。为
PDF2 years ago
ACL预训练目标如何影响大型语言模型在语言属性方面的学习？
本文探讨了语言模型的预训练目标对 BERT 学习语言属性的影响，通过使用两个语言学上有意义的目标和三个非语言学动机的目标进行预训练，并发现了这两种不同类型的目标训练出的模型在语言特征表现方面的差异非常小，这也对语言信息熵理论的主流观点提出了
PDF2 years ago
ACL汉语 BERT 中是否总是整词遮蔽更好？：对汉语语法错误纠正的探究
本文探讨了使用整词遮掩技术对于中文 BERT 模型的上下文理解能力是否具有优势，为此作者引入两项与语法纠错有关的探测任务，并针对 19,075 个标记在 10,448 个句子中进行测试，发现在处理多字符情况下，整词遮掩技术可以获得更好的性能
PDF2 years ago
ACLDS-TOD：针对任务导向对话的高效领域专业化
本文探讨了领域专业化预训练对任务定向对话的影响，并提出了一种领域适配器技术，通过构建和利用专门领域的资源，如 DomainCC 和 DomainReddit 来提高模型的任务性能。
PDF3 years ago
EMNLP填补古代阿卡德语文本中的空白：一种掩码语言建模方法
通过掩码语言建模任务，结合阿卡德语等，我们的研究在古代美索不达米亚文献的文字补充方面达到了最新水平，并在人类背景下进行了实验，证明了在辅助专家转录已灭绝语言的文本方面的适用性。
PDF3 years ago
EMNLP视觉语言领域数据效率掩码语言建模
本文研究在跨模态预训练中使用遮蔽语言建模（Masked Language Modeling，简称 MLM）的一些问题，提出了一些针对这些问题的替代遮蔽策略，在 LXMERT 模型预训练时，我们的替代策略始终优于原始遮蔽策略，特别是在低资源设
PDF3 years ago
EMNLP简单却令人沮丧的预训练替代方法：掩码语言建模
本文研究了五种基于令牌级分类任务的简单预训练目标作为 MLM 替代品，证明这些方法可以达到与使用 BERT-BASE 结构的 MLM 相当或更好的性能，并且使用较小的模型进行验证。
PDF3 years ago
CTAL：跨模态预训练 Transformer 用于音频和语言表示
本论文介绍了一种名为 CTAL 的跨模态转换器，旨在利用大量的音频和语言数据对两个代理任务进行遮蔽语言建模和遮蔽跨模态声学建模，以学习音频和语言之间的内模态和跨模态连接。在多个下游音频和语言任务的微调后，我们观察到在情感分类、情感分析和说话
PDF3 years ago
ROSITA: 通过跨模态和内部模态知识整合提升视觉语言语义对齐
ROSITA 是一种新的 VLP 方法，其通过将跨模态和内在知识整合到一个统一的场景图中来增强语义对齐，具体地，它引入了一种结构知识掩蔽策略来使用场景图结构作为支持性先验知识来执行掩蔽语言（区域）建模，从而通过消除在跨模态和内部信息中的干扰
PDF3 years ago
W2v-BERT: 结合对比学习和掩码语言建模进行自监督语音预训练
本文介绍了 w2v-BERT，一个基于 Masked Language Modeling 的 self-supervised 模型，结合了对比学习和 MLM，用于自我训练语音识别模型。通过对 Libri-Light 60k 语料库进行训练，
PDF3 years ago
ACL通过自标注的词对齐改进预训练的跨语言语言模型
该研究探讨了使用去噪词对齐作为新的跨语言预训练任务的方法，通过在双语对中进行自我标注的单词对齐，结合指针网络来预测清理片段中被屏蔽的单词及其在另一种语言中的对应单词，并在期望值最大化的方式下交替进行两个步骤，实验结果表明该方法在各种数据集上
PDF3 years ago
ICLR通过 Metropolis-Hastings 揭示掩码语言模型背后的隐式能量网络
本文提出了一种从 MLMs 中推导出能量参数，并利用 Metropolis-Hastings Monte Carlo 算法开发了可处理的采样方案，用于无限制的生成和有条件的生成任务，证明了所提出参数化的有效性，以及我们的方法生成的样本比其他
PDF3 years ago
EMNLP中间预训练中掩码策略的影响
本文通过大规模实证研究不同的遮蔽策略对于 NLP 模型中中间 pre-training 过程的影响，发现适当的预训练语料、输出格式的选择以及深思熟虑的 MLM 策略在提升最终性能方面有着关键作用，优化后的遮蔽策略不仅可以在 TrivaQA
PDF3 years ago
AAAI生成自然语言攻击的上下文感知方法
本研究探讨使用黑盒方法攻击自然语言处理模型的重要任务，并提出了一种攻击策略，通过考虑原始单词及其周围情境的信息来找到候选单词，并在上下文理解方面共同利用掩码语言模型和下一句子预测。与先前的攻击相比，我们能够生成高质量的对抗性示例，成功率和单
PDF4 years ago