本文提出 HyperMixer 模型，通过使用超网络动态形成令牌混合 MLP 实现自然语言理解，相比于现有的 MLP-based 模型和 Transformer，在处理时间、训练数据和超参数调整方面具有更低的成本，并在实证中表现更好。

Mar, 2022

介绍了 pQRNN，这是一种基于投影的嵌入式神经编码器，非常适合自然语言处理任务。通过深入研究其参数、数据增强和蒸馏设置等因素，结果表明 pQRNN 对于延迟敏感型应用非常适合，同时可以利用大型 mBERT 等预训练模型。

Jan, 2021

本文主要通过对比分析神经概率语言模型和 Transformer 模型的特点，提出使用 NPLM 的本地连接层替换 Transformer 的第一自注意层，从而在三个单词级语言建模数据集上获得小而一致的困惑度降低。

Apr, 2021

本文提出了一种基于 MLPMixer 的纯 MLP 神经网络模型，用于识别开放词汇下的关键字，该模型在 Hey-Snips 数据集和内部数据集中都取得了比传统基于循环神经网络和卷积神经网络模型更好的性能，并拥有更少的参数和 MACs。

Jun, 2022

该论文提出稀疏激活多层感知机结合混合专家模型在语言建模任务上显著提高模型容量和表达能力，同时保持运算速度稳定，相较于 Transformer-based MoEs、密集型 Transformer 和全连接 MLP 在训练效率和语言建模复杂度方面获得了 2 倍提升。并在六项下游任务中取得了优于 Transformer-based MoEs 和密集型 Transformer 的效果。

Mar, 2022

本文介绍了一种通过小型神经网络来预测混合模型权重的方法，以提高神经语言模型和 n 元语法模型的性能。实验结果表明，该方法能显著提高 One Billion Word benchmark 上的性能。

Apr, 2018

本文针对自然语言处理（NLP）任务，提出了一系列轻量级和内存高效的神经网络模型，利用四元数代数和超复数空间进行计算，在不影响性能的情况下减少了模型参数的大小达到 75%。作者提出了四元数变体模型和新的架构，如四元数注意力模型和四元数变换器模型，并在多项 NLP 任务上进行了广泛的实验，证明了所提出的模型的优越性。

Jun, 2019

本研究提出了一种整合预训练语言模型和神经机器翻译的方法（PiNMT），通过引入 PLM 多层转换器、嵌入融合和余弦对齐等关键组件以及分离学习率和双步训练等训练策略，实现了 PLM 与 NMT 的有效整合，提升了性能，并在 IWSLT'14 数据集上取得了最新的研究成果。

Oct, 2023

通过使用神经切向核（NTK）逼近多层感知器模块（MLP）的预训练语言模型（PLM），提出了一种轻量级 PLM 压缩方法，通过重新考虑 MLP 作为子 MLP 集合并将其聚类为给定数量的重心，进而恢复为压缩的 MLP，惊人地显示出良好逼近原始 PLM 的 NTK。

Jul, 2023

提出了一种修剪方法，可在保持翻译质量的同时，移除多语言机器翻译中不相关的习惯用语，并检测出特定语种的专家，以便使用 Sparse Mixture-of-Experts 模型在单个 GPU 上运行。

Dec, 2022