本研究探讨了两种技术，以在低资源设置中训练单语言 TLM，结果表明 MicroBERT 模型能够对下游任务评估进行显著改善。

Dec, 2022

通过在词汇层面上构建语义结构的二元向量表示方法，研究并总结了一个基于神经组件和层次符号组件相互配合的语义引导语言模型在提高文本生成的可预测性和语言解释性上的表现所必须具备的条件，包括语义向量表示的维度，以及对这些表示结果涉及噪声和信号的分布等。

May, 2023

本文介绍了一种基于子词嵌入的双语掩码语言模型预训练方法，应用于无监督神经机器翻译和双语词汇归纳任务中均取得了较好的性能表现。

Mar, 2021

本研究通过转换语音信号为由声学单元发现生成的隐藏单元并提出了 WavEmbed，一个多模态连续自编码器，用于预测从语音传感器中提取的隐藏单元的密集嵌入，其次通过知识蒸馏提出 S-HuBERT。最佳性能的模型与人类判断之间的相关性中等（0.5~0.6），且无需依赖任何标签或转录，这些模型还可以轻松扩展以利用语音的文本转录来学习更好的嵌入。

Oct, 2022

本文介绍了一种从人类语言实验中提取的一系列诊断方法，旨在检验语言模型用于生成上下文预测的信息。将这些诊断方法应用于 BERT 模型的案例研究中，发现其可以区分涉及共享类别或角色逆转的好坏完成情况，但对具有挑战性的推理和基于角色的事件预测存在困难，并且特别是对否定性上下文影响的敏感性不足。

Jul, 2019

本文探讨了在数据点少于 1,000 的低资源环境下利用基于预训练 Transformer 的语言模型的微调方法，通过利用基于池的主动学习加速训练同时保持标记新数据的成本不变。实验结果表明，通过最大化从未标记数据池中查询的模型的近似知识收益，可提高模型性能。最后，我们演示并分析了语言模型冻结层的好处，以减少可训练参数的数量，使其更适用于低资源环境。

Dec, 2020

提出了一种自我训练的方法，用于从未标注的图像数据中训练 VL-BERT 模型，模型采用统一的有条件模型，能够执行零样本条件生成，通过该方法使用仅 300k 个未标注的额外数据，可以获得与训练了 300 万个图像数据的相似模型大小的模型相媲美或甚至更好的性能

Jan, 2022

通过行为对齐的方式，我们提出了一种轻量级的语言 - 语音预训练方法，将大型语言模型（LLMs）的能力扩展到语音识别、语音翻译、口语理解和对话等领域，实现了语音和文本之间的模态对齐。

Sep, 2023

本文通过研究发现，预先训练的语言模型可以通过从少量反例中进行泛化来提高对数据中偶然现象的鲁棒性。当这些少数情况很少时，预训练模型表现与从头开始训练的模型一样差。在极端的少数情况下，我们提出使用多任务学习（MTL）来提高泛化能力。我们在自然语言推断和释义识别上的实验表明，MTL 可显着提高在具有挑战性的情况下的性能，而不会影响分布内性能。此外，我们表明，MTL 带来的增益主要是从极少数情况的改善泛化能力中获得的。我们的结果突显了克服偶然相关性的数据多样性的重要性。

Jul, 2020

我们提出 Lil-Bevo，作为 BabyLM Challenge 的参赛作品。我们使用三种方法对我们的掩码语言模型进行了预训练：使用音乐数据进行初始预训练，先对较短的序列进行训练再逐步增加序列长度，以及对特定令牌进行屏蔽以针对 BLiMP 的一些子任务。总体上，我们的基准模型的表现超过了随机猜测，但远低于训练于更多数据上的较大规模语言模型的性能水平。我们发现训练较短的序列比训练较长的序列效果更好。预训练音乐可能在一定程度上提高性能，但如果确实有影响，则影响似乎很小。我们针对性的掩码语言建模增强在一般情况下似乎并没有提高模型性能，但在一些特定的 BLiMP 任务上确实有帮助（如负极性项）。在少量数据上训练性能良好的语言模型是一项困难但有潜力的任务。虽然我们的一些技术显示出一些希望，但仍需要进一步研究以探索它们是否能带来比目前更为显著的性能提升。我们的代码可在此链接中获取，模型可在此链接中获取。

Oct, 2023