- 使用 BEHRT 进行医学概念嵌入的联合学习
本文提出了一种基于联邦学习的医学概念嵌入学习方法，通过使用 MIMIC-IV 数据集比较中心化学习和联邦学习的表现，结果发现联邦学习可以达到与中心化学习相近的性能，并且在平均精度上优于本地模型。同时，文章还证明了预训练掩码语言模型可以提高下 - ACLPatton: 在文本丰富的网络上进行语言模型预训练
本研究提出了一种针对文本丰富的网络的预训练模型，使用网络上下文引入文档间关系依赖来捕获文本属性和网络结构之间的内在依赖关系，实验表明该模型在学术和电商领域的四个下游任务中表现显著优于基线模型。
- ACL掩码预训练目标的任务复杂度如何影响下游性能？
本研究旨在探究更加复杂的目标掩码方案是否能够取得比 Masked language modeling 更好的效果，并验证它们需要具备多少的复杂性才能够达到相似的性能；结果表明，相对于 Masked language modeling 来说， - DinoSR：基于自蒸馏和在线聚类的自监督语音表示学习
本研究介绍 DinoSR，一种使用自我蒸馏和在线聚类的自监督语音表示学习方法，其中结合了掩码语言建模，自我蒸馏和在线聚类，实验表明这些概念互补，并形成了语音强表示学习模型。
- 无监督方式提升语言模型中的事实知识
本研究提出一种影响掩蔽语言模型预训练的方法，使其在无监督的方式下优先选择有信息的词汇，实验证明此方法大大提高了预训练语言模型在诸如事实回忆、问题回答、情感分析和自然语言推理等知识密集型任务中的表现。
- CVPR使用自由语言建模加速视觉语言预训练
本研究提出了一种新的预训练任务：自由语言建模 (FLM)，它通过自定义每个预测令牌的污染范围解决了掩码语言建模 (MLM) 中预测率和污染率之间的问题，成功地将预测率从污染率的捆绑中解放出来，从而加速了视觉 - 语言预训练的收敛速度，减少了 - 使用干扰项和提示掩盖为医疗问答生成多选题
本文通过在医学百科全书段落中以疾病名称预测为重点的 Masked Language Modeling 方法，提高了医学多项选择题回答准确率；本文还展示了基于生成的 MCQA 数据集的 fine-tuning 方法胜过基于 MLM 的方法，并 - ICLRStrucTexTv2: 遮蔽式视觉文本预测用于文档图像预训练
本文提出了一种名为 StrucTexTv2 的有效的文档图像预训练框架，通过执行掩码视觉 - 文本预测。它由两个自我监督的预训练任务组成：掩码图像建模和掩码语言建模，基于文本区域级别的图像掩码。经实验验证，该模型在文档图像理解的各个下游任务 - 加权采样用于掩码语言建模
本文探讨基于预训练语言模型的文本特征抽取中，标准随机掩码策略会导致高频词汇偏见和罕见词汇表示学习困难的问题，并提出了两个简单有效的基于 token 频率和训练损失的加权采样策略，以解决此问题，并在 BERT 模型上验证，即 Weighted - 掩码语言建模中的表征缺陷
本文提出了一种新的预训练方法 MAE-LM，通过在 Masked Autoencoder 中排除 [MASK] 符号的编码器，解决了 Masked Language Modeling 预训练方法中 [MASK] 符号造成的表达上的不足问题， - EMNLP基于概念的课程屏蔽的遮蔽语言模型高效预训练
本文提出了一种基于概念的课程掩模方法 (CCM) 来高效地预训练一种语言模型，该方法通过引入计算语言学困难度的标准以及构建逐渐屏蔽相关词汇的课程而与现有课程学习方法不同，实验结果表明，使用 CCM 进行的模型预训练在培训成本达到一半时就可与 - 自进化：实现语言模型高效预训练与下游适应的一项探究
该研究报告描述了一种基于自进化学习的预训练语言模型和 prompt transfer 技术，将知识转移到下游任务以实现超越 SuperGLUE 排行榜的表现。2022 年 10 月，该方法在 4/8 个任务上实现了最新的最先进性能，平均得分 - CVPR利用语义完形学习进行视觉语言预训练的漏洞填补
本文提出新的语义完成学习任务，以便于视觉语言预训练（VLP）模型学习多模态数据的全局语义特征，从而实现全局到局部的对其，同时采用一种灵活的视觉编码器使得该模型可以同时执行图像 - 文本与视频 - 文本的多模态任务，实验结果证明该方法在各种视 - 针对密集式段落检索的检索导向遮蔽预训练语言模型
该研究提出了一种新的遮蔽策略 (ROM)，通过词项重要性权重来提升语言模型预训练中的密集通道检索任务性能，实验结果证明这种方法能够显著提高多个通道检索基准测试的性能而不改变原来的语言模型的架构和学习目标。
- InforMask: 语言模型预训练的无监督信息遮蔽
本文提出了 InforMask 方法，使用点互信息（PMI）来选择最具信息量的 tokens 进行蒙版，并进行两种优化以提高效率，该方法在 LAMA 和 SQuAD v1、v2 基准测试上明显优于随机蒙版和以前提出的蒙版策略。
- 为了更好的语言模型预训练，学习更好的掩码技术
本研究通过探索不同时间阶段掩码策略方式，发现固定掩码比率和掩码内容是无法实现最佳效果的。因此，提出了两种自适应掩码策略，通过不同的训练阶段来调整掩码比率和掩码内容以提高模型的性能，并在下游任务中进行验证。该研究的工作是关于时间相关掩码策略对 - CLUE 语义匹配挑战第一名：Erlangshen 预训练语言模型和倾向性校正损失
本篇报告介绍了一个预训练语言模型 “Erlangshen” 及其在 CLUE 语义匹配挑战赛中最高得分的方法，其采用基于整词屏蔽的动态遮蔽策略和倾向性校正损失，在测试集上获得了 72.54 的 F1 分数和 78.90 的准确率。
- STT: 少样本调整的软模板调整
本研究提出了一种新的 prompt tuning 框架 (Soft Template Tuning，STT)，它综合了手动和自动提示，将下游分类任务视为遮蔽式语言建模任务，并通过大量实证研究表明，STT 可以在不引入额外参数的情况下缩小 f - 利用冻结的双向语言模型实现零样本视频问答
本文介绍了一种基于冻结的双向语言模型的零样本视频问答方法，它使用轻量级的可训练模块将可视化输入与冻结的双向语言模型相结合，通过屏蔽的语言模型进行零样本视频问答推理，相较于目前现有的方法，在包括 LSMDC-FiB、iVQA、MSRVTT-Q - LAVENDER: 统一视频 - 语言理解作为遮蔽语言建模
本文提出了一种名为 LAVENDER 的统一的视觉 - 语言框架，它使用遮蔽语言建模作为所有预训练及下游任务的共同接口，从而实现了简化的模型架构，并在 14 个视频 - 语言基准测试中取得了竞争力的表现。