本研究使用分布式联合学习框架 Federated Learning 对一个智能手机虚拟键盘中的递归神经网络语言模型进行训练，证明了在无需导出用户数据到服务器的情况下，在客户端设备上训练语言模型是可行的，在此应用场景中，使用 Federated Averaging 算法进行的训练可以完成更好的预测记忆，这种联合学习的环境可以保护用户数据隐私，使用分布式训练与集中式聚合来将隐私保护的思路融入到训练过程中。

Nov, 2018

本文介绍了一种大词汇量语音识别系统，其特点是准确、延迟低，同时其内存和计算资源占用不大，可以在 Nexus 5 Android 智能手机上以快于实时的速度运行。使用一种量化的 LSTM 音频模型和 CTC 训练直接预测音素目标，进一步使用基于 SVD 的压缩方案进一步减小内存占用，同时利用贝叶斯插值构建单一的语言模型，在植入词汇项进入解码器图表并实时更改语言模型偏差的情况下正确执行设备特定的信息。其最终取得的效果是在开放式口述任务中 13.5% 的单词错误率，而以运行速度优于实时的为媒介获得更优秀的结果。

Mar, 2016

本文通过利用递归神经网络预测移动键盘上输入文本的 emoji，演示了利用预训练模型和联邦学习训练生产质量自然语言理解模型的可行性，提出了多种触发 emoji 和调整候选项多样性的机制，并证明了基于联邦学习的分布式设备学习框架可以获得比基于服务器训练的模型更好的性能。

Jun, 2019

本文旨在通过将深度神经网络 (LSTM) 模型的知识提取到基于卷积神经网络 (CNN) 的模型中，来降低自然语言识别任务（如文本分类）中的推理时间，以实现模型的简化、压缩和加速。

Aug, 2022

本文提出 MobileNMT，这是一个可以在移动设备上进行翻译的系统，该系统通过一系列的模型压缩原则与量化相结合来实现，与现有系统相比，其速度提高了 47 倍，节省了 99.5% 的内存，只损失了 11.6% 的 BLEU。

Jun, 2023

本论文通过对现有 LSTMs 和 QRNNs 语言模型的扩展，提高了对大型语料库的处理能力，并在字符级（Penn Treebank，enwik8）和单词级（WikiText-103）数据集上分别取得了最新的最高水平结果，而且只用了一台现代 GPU，最快只需 12 小时（WikiText-103）或 2 天（enwik8）即可。

Mar, 2018

使用长期短期记忆（LSTM）、字符信息和单词嵌入等技术，设计了一种基于字符的语言模型，有效提高了对单词的建模能力，优于传统基于单词的模型。

Apr, 2017

本研究提出了基于大型语言模型嵌入的移动应用预测模型（MAPLE），以应对移动应用预测中复杂的用户行为和不断演化的环境。通过对两个公共数据集的严格测试，结果表明 MAPLE 能够准确解读复杂模式并理解用户背景。这些强大的结果确认了 MAPLE 在不同场景中的多功能性和适应性。虽然其主要设计面向应用预测，但研究结果也强调了大型语言模型在不同领域中的广泛适用性。通过这项研究，我们强调了大型语言模型在应用使用预测中的潜力，并建议它们在模拟人类行为方面具有改变性的能力。

Sep, 2023

通过基于深度学习的方法，本论文提出并验证了一种能够从用户视角的 RGB 视频流中准确预测按键的增强现实应用。该方法使用户能够在任何平面上执行打字活动，并且不再需要物理或虚拟键盘，相关实验结果证明了这种方法的可行性和潜力，并讨论了将此技术应用到生产系统中所需的限制和未来研究。

Aug, 2023

本文介绍了一种支持 102 种语言的在线手写系统，采用深度神经网络架构和贝塞尔曲线的新输入编码，与之前的系统相比降低了 20%-40% 的错误率，并在 IAM-OnDB 数据集上取得了新的最优结果。通过实验确定了模型的最优配置，并在多个公共数据集上进行了评估。

Feb, 2019