transformer lms | BriefGPT - AI 论文速递

关键词transformer lms

搜索结果 - 9

Transformer 可以表示 $n$-gram 语言模型
该研究论文探讨了 Transformer 语言模型与 n-gram 语言模型之间的关系，通过分析机器学习模型的概率表示能力，提供了对 Transformer 语言模型代表概率分布的机制的初步认识。
PDF2 months ago
利用跨句语境进行 ASR 解码
研究通过束搜索集成具有长期上下文的变压器语言模型进行跨话语语音模型的解码，并与 n-best 重排序的结果进行比较。结果表明，束搜索允许更好地利用跨话语语境。
PDFa year ago
适应神经脑机接口预测输入的 Transformer 语言模型
使用 Transformer 语言模型进行字符预测可以很大程度上加快 BCI 打字速度，本文针对几种基于 wordpiece 级别的 Transformer 语言模型进行了评估，并发现 GPT-2 可以在干净的文本上取得最佳效果，同时分析了
PDFa year ago
通过成语理解 Transformer 记忆召回
本文提供了第一种探测 transformer LMs 中记忆序列召回的方法，并分析了记忆预测是一个两步过程，其存储和检索存储在网络的早期层中，这为理解记忆召回提供了第一步，并为未来的 transformer 记忆研究提供了方法基础。
PDF2 years ago
面向低资源语言的多语种 Transformer 语言模型
通过将多个低资源语言聚集在一起来实现地区组多语言 Transformer LM 的最佳性能，使得 Monolingual LM 候选模型表现更佳且减少维护成本和运营费用。
PDF2 years ago
基于贝叶斯神经网络的语言模型用于语音识别
提出一种普遍的贝叶斯学习框架，利用三种方法模拟 LSTM-RNN 和 Transformer LMs 的模型参数、神经激活选择和隐藏输出表示的不确定性，使用神经结构搜索自动选择优化网络内部组件，并使用有效的推断方法来降低计算成本，并在 AM
PDF2 years ago
神经语言模型中的成分结构探测
本文研究神经语言模型对句法结构的学习能力，发现预训练的 Transfomer LM 即使在语义有错的情况下仍能准确地代表不同类别的成分，并且语法信息确实被 LM 学习并与语义信息分离。
PDF2 years ago
因果转换器在递归嵌套结构上表现低于随机，不如人类
研究发现，当处理嵌套构造中存在长距离嵌入依赖时，尽管 Transformer 语言模型在处理短距离嵌入依赖时表现接近完美，但表现却远低于机会水平，这揭示了 Transformers 在结构化的递归处理中的缺陷。
PDF3 years ago
何时需要数十亿字的预训练数据？
通过四种探究方法，我们发现语言模型只需要大约 100M 的单词量，就能够可靠地编码大多数句法和语义特征，而大量的数据需要用来获得足够的常识和其他技能，以掌握典型的下游 NLU 任务。
PDF4 years ago