- 用于预测 T 细胞受体 - 抗原结合特异性的大型语言模型
我们提出了一种蒙版语言模型（tcrLM），用于预测 T 细胞受体（TCR）与抗原的结合，通过训练 tcrLM 来推断被屏蔽的片段，从 TCR 序列中提取表达特征，并在大规模 COVID-19 pTCR 结合测试集上超过当前最先进的方法，有效 - MaskSR：面向全频段语音恢复的 Masked Language Model
语音恢复是在各种失真的情况下恢复高品质语音的目标。本文提出了一种名为 MaskSR 的掩码语言模型，能够联合考虑噪声、混响、剪切和低带宽来恢复全频 44.1 kHz 的语音。MaskSR 利用预训练的神经编解码器提取离散声学令牌。在训练过程 - 关于公共代码审查中的请求质量保证的统一提示调整
使用统一框架 UniPCR 来解决开发者需求质量保证（即预测需求的必要性和推荐标签子任务）的问题，该框架通过掩码语言模型（MLM）改进了文本提示调参和代码前缀调参，实现了两个子任务的自动化完成，并在公共代码评审数据集上展示了高效性。
- BERT 词汇扩展与知识库构建
知识库搭建从预训练语言模型开始，提出了一种扩展语言模型词汇量的方法，实现了多词汇实体的直接嵌入，这在知识图谱的链接预测任务和数据管理中的元数据完成方面迈出了重要的一步。
- AudioFormer: 从离散声学编码中学习音频特征表示的音频 Transformer
通过收集离散声学代码并进行微调，AudioFormer 对音频分类任务提出了一种学习音频特征表示的方法。采用已有的神经音频编解码模型，生成离散声学代码并利用它们来训练掩码语言模型，从而获取音频特征表示。此外，通过采用多正样本对比学习方法，实 - 双向关注作为连续单词专家的混合
通过重新参数化，将多层多头的双向注意力视为堆叠的 MoE 和混合的 MoE，从而揭示了双向注意力中使用 MoE 的独特之处，并说明了其在处理异构数据方面的实际有效性。此外，统计视角还揭示了双向注意力的词嵌入中线性类比的限制条件。
- 面向相关文档中未监督识别语义差异的研究
研究了三种无监督的方法以实现识别语义差异的任务，并发现基于词对齐和句子级对比学习的方法与金标签的相关性较高，但所有无监督方法仍有很大的改进空间。
- 台风：面向预训练语言模型的有效任务特定遮盖策略
本文探索了一种任务特定的掩蔽框架，用于预先训练的大型语言模型，在 GLUE 基准测试的数据集上实现了卓越的性能，我们基于令牌输入梯度开发了我们自己的掩码算法 Typhoon，并将其与其他标准基线进行了比较。我们发现 Typhoon 在 MR - SwissBERT：瑞士的多语言语言模型
SwissBERT 是一个针对处理与瑞士有关的文本而创建的掩模语言模型，它是一个预训练模型，适用于瑞士的德语、法语、意大利语和罗曼什语的新闻文章，该模型使用语言适配器，在处理当代新闻和 / 或罗曼什・格里施人时，往往可以比以前的模型更好地完 - AAAIAMOM: 条件掩码语言模型的自适应掩码
本文介绍了一种简单而有效的自适应遮盖策略，用于增强解码器的细化能力和简化编码器优化，证明该方法在多任务序列生成中超越了强大的 CMLM 模型，在机器翻译任务中获得了最先进的性能，并在至少 2.2 倍的加速下比 AR Transformer - 自适应掩蔽生成情感转移
本文提出了一种基于 AM-ST 模型的情感转移方法，通过学习任务相关的蒙版参数，使用注意力机制和情感感知掩膜语言模型来捕捉多级语义并填充蒙版空白位置，实验结果表明，本文提出的方法优于现有方法。
- 元数据可能使语言模型更好
本文研究了在历史文献收藏品中训练语言模型时加入元数据的好处，通过对 19 世纪报纸的案例研究，扩展了 Rosin 等人 2022 年提出的时间遮蔽方法，并比较了将时间、政治和地理信息插入蒙版语言模型中的不同策略。实验证明，向语言模型展示相关 - EMNLPJust ClozE! 在抽象化摘要里评估事实一致性的快速简单方法
本研究提出了一种名为 ClozE 的新方法，采用基于掩码语言模型（MLM）实例化的填空模型来评估抽象化摘要与原始文本之间的事实一致性，并通过六个人工注释数据集和元评估基准 GO FIGURE 的实验表明 ClozE 相对于 QA_metri - 基于模板的时间自适应学习动态语境化单词嵌入
本文提出了一种通过时间感知模板来学习动态上下文词嵌入的方法，实验结果表明该方法比当前最先进的动态上下文词嵌入方法表现更好。
- ECCVLabel2Label: 多属性学习的语言建模框架
该论文提出了一种名为 Label2Label 的简单而通用的框架，用于利用分类属性之间的复杂相关性，在多属性学习方面取得了出色的成果。
- 基于遮蔽语言建模的可逆文本数据隐藏通用框架
本文提出了一个基于掩蔽语言模型的通用框架，将秘密信息嵌入给定的覆盖文本中，嵌入的信息和原始覆盖文本可以从标记文本中完美地恢复。实验结果表明，所提出的方法具有良好的安全性和语义质量，可应用于许多领域，包括信息隐藏和自然语言处理。
- 利用语言模型的监督信号进行弱监督文本分类
本文提出了一种利用填空式提示来生成标签信号以进行弱监督文本分类的方法，并使用潜变量模型来学习将生成的单词与预定义类别相关联的单词分布学习器和文档分类器，以实现无需标注数据。通过在三个数据集上的评估，表明我们的方法可以比基线方法提高 2％，4 - ACL从预训练语言模型中探索比喻知识
本文介绍一种利用预训练语言模型中的知识解决类比解释和类比生成任务的方法，提出一种基于模式的方法来完成词的预测，同时采用模式集成和模式搜索的方式提高预测词的质量。实验结果表明该方法在类比解释和类比生成方面取得了很好的效果。
- SIGIR使用硬负实体进行对比学习以扩展实体集
本文提出一个利用掩蔽语言模型和概率性扩展框架进行实体集扩展的方法，实验结果表明其在三个数据集上优于现有最先进方法。
- 使用统一的语音与文本编码器 - 解码器来改善 ASR
本研究利用外部文本数据提高自动语音识别的性能，探讨了一种方法，在共享解码器和编码器部分的集合中，联合训练自动语音识别和掩码语言模型。经实验验证，该方法在测试中取得了非常好的效果，耗时不增加。