neural language modeling | BriefGPT

关键词neural language modeling

搜索结果 - 12

大规模语言模型重整的低秩适应对于参数高效语音识别
提出了一种基于低秩适应（LoRA）的神经语言建模系统，用于语音识别输出的再评分。通过低秩分解的方法，使用仅占预训练参数 0.08% 的插入矩阵进行训练和领域适应，实现了 Rescore-BERT（LoRB）架构，并在 LibriSpeech
PDF9 months ago
带有随机权重平均的不确定性感知自然语言推理
这篇论文介绍了在自然语言理解（NLU）任务中使用随机重量平均 - 高斯（SWAG）进行贝叶斯不确定性建模的方法，并将其应用于标准的自然语言推理（NLI）任务中，证明该方法以预测准确度和与人类注释不一致性相关性等方面的有效性。我们认为，SWA
PDFa year ago
神经符号专家系统中可解释推理规则的动态生成
提出一种系统性推理方法，它可以生成基于事实库的人类可解释证明树。新方法使用神经语言建模、引导生成和半参数密集检索来替换手工制定的规则，从而动态实例化可解释推理规则，并在多个事实上得分。经验证的知识证明完全落实在科学 QA 数据集上。
PDF2 years ago
ACL语言学框架在神经符号语言建模中展开激烈较量
本文探讨了语言图表示在理论上能否 complement 并提高神经语言建模的能力。通过集成一个预训练的 Transformer 和七种不同形式主义的 ground-truth 图，研究发现，总体而言，语义组成结构对于语言建模的性能最有用，超
PDF3 years ago
AAAI基于知识驱动的数据构建在常识问答中的零样本评估
本文提出了一种基于神经符号框架的零样本问题回答方法，利用预训练模型的外部知识资源，获得了在不同任务中的一致性提升，并且在任务结构保持的同时还生成了公平和信息丰富的问题，从而提高了语言模型的学习效果。
PDF4 years ago
语音识别的长跨度语言建模
本文探索多句子语境下神经语言模型的应用，并介绍结合了注意力机制和 LSTM 的新型模型在语音识别和长跨度语言模型方面的实验结果。
PDF5 years ago
SIGIRTable2Vec: 表格填充和检索的神经单词和实体嵌入
本文使用神经语言模型将表格数据嵌入向量空间，并将它们作为额外的语义相似性信号，应用于三种特定的表格相关任务：行填充、列填充和表检索。评估结果表明，表格嵌入可以显著提高现有基线模型的性能。
PDF5 years ago
多任务双编码器模型学习跨语言句子表示
探索了一种使用双编码器学习跨语言句子表示的自然环境，以克服多语言神经语言建模中标记化非英语数据的缺乏，并在许多单语、跨语言、零样本 / 少样本学习任务上对跨语言表示进行了全面评估，并分析了不同的跨语言嵌入空间。
PDF6 years ago
神经语言模型的自适应输入表示
论文介绍了适应性输入表示对神经语言建模的重要性，对比了在自注意力网络结构中以字符、单词和亚词元为单位以及输入和输出层的因数分解方案，并最终实现了在不增加参数前提下提高模型训练速度和减少困惑度的目的。
PDF6 years ago
AAAI一次拼写，任意召唤：一个两层开放词汇语言模型
本文提出了一种基于贝叶斯生成模型的神经网络语言模型，将词汇结构和句子结构分离，利用单词的拼写信息帮助处理未知单词，从而扩展语言模型的覆盖范围，实现了在多个数据集上的最优表现。
PDF6 years ago
ACL针对真实世界的查询自动完成的个性化神经语言模型
本研究提出了基于神经语言建模的深度学习方法，以改善基于流行度的方法无法预测未见过的查询的主要限制，并通过集成用户信息实现个性化建议，使用时间信息并研究如何增加建议的多样性，从而在准确性和可扩展性方面显著改善前人最佳方法，迈向生产搜索引擎中的
PDF6 years ago
EMNLP序列到序列学习作为 Beam-Search 优化
该研究介绍了一种基于全局序列评分学习的 Sequence-to-Sequence (seq2seq) 模型和波束搜索训练方案，通过避免局部训练的传统偏差问题，统一训练损失和测试时间使用，并保留 seq2seq 的有效训练方法。在单词排序、解
PDF8 years ago