Apr, 2021

基于创新的 Bert 重新排序语言模型在语音识别中的应用

PDF
TL;DR本文利用 BERT 模型重新排序自动语音识别中的 N 个最优假设，同时融合了任务特定的全局主题信息。实验表明，相较于循环神经网络和利用 BERT 计算伪对数似然分数的方法，本方法在 AMI 基准语料库上的有效性和可行性得到了证实。
bidirectional encoder representations from transformersbertcontextualized language modelsautomatic speech recognitionn-best hypothesis reranking
发现论文，激发创造
  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018

  • 双向 Transformer 再排名用于语法错误纠正

    通过采用 BERT 风格的自注意机制，我们提出了一种双向 Transformer 选手 (BTR)，可以找出由预训练 seq2seq 模型产生的候选句子中概率偏差的问题。与 T5-base 相比，BTR 在 CoNLL-14 和 BEA 测试集上可分别产生 65.47 和 71.27 F0.5 分数，在 JFLEG 语料库上可产生 59.52 GLEU 分数，优于 T5-base。

    May, 2023

  • DialogBERT: 通过学习恢复和排序话语生成具有话语意识的响应

    本文提出了 DialogBERT，这是一种新型的对话响应生成模型，通过使用分层 Transformer 架构和两个训练目标，包括掩码语调回归和分布式语调顺序排名来提高先前基于 PLM 的对话模型，在三个多轮对话数据集上进行实验证明，相比于 BART 和 DialoGPT，DialogBERT 在定量评估方面表现出色，并且在人类评估中证明，DialogBERT 比基线模型生成的响应更连贯、信息量更大，并更加接近人类表现。

    Dec, 2020

  • BERT、mBERT 还是 BiBERT？关于上下文化嵌入用于神经机器翻译的研究

    本研究通过将定制和合适的双语预训练语言模型（称为 BiBERT）的输出（上下文嵌入）作为神经机器翻译编码器的输入，展示了实现最先进的翻译性能的方法，并提出了一种随机层选择方法和双向翻译模型的概念，以确保充分利用上下文嵌入。

    Sep, 2021

  • 贝叶斯 Transformer 语言模型在语音识别中的应用

    使用贝叶斯学习框架和变分推断优化，提高了 Transformer 神经语言模型的泛化性能和模型鲁棒性。在 Switchboard 语料库和 DementiaBank 中的实验都获得了明显的性能提升。

    Feb, 2021

  • 利用大型语言模型攫取 ASR 不确定性

    利用 n-best 列表提示方法，我们改善了基于大型语言模型的口语理解任务，使其能够更好地理解口语意图并应用于基于语音的应用。

    Sep, 2023

  • N-Best ASR Transformer: 使用多个 ASR 假设提高 SLU 性能

    使用自动语音识别提供的多个文本替代方案，采用简化的表述方式，通过 transformer 模型 BERT 和 XLM-RoBERTa 对 N-best 替代方案的连接作为输人，提高了 Spoken Language Understanding 系统的性能。

    Jun, 2021

  • 基于贝叶斯神经网络的语言模型用于语音识别

    提出一种普遍的贝叶斯学习框架，利用三种方法模拟 LSTM-RNN 和 Transformer LMs 的模型参数、神经激活选择和隐藏输出表示的不确定性，使用神经结构搜索自动选择优化网络内部组件，并使用有效的推断方法来降低计算成本，并在 AMI 会议转录和 LRS2 超叠话音频道的语音识别任务中实验验证，相对于基线 LSTM-RNN 和 Transformer LMs，在困惑度和字错误率方面均取得了一致的性能提升。

    Aug, 2022

  • 利用 BERT 进行信息检索：调查、应用、资源和挑战

    近年来，深度学习在解决各种自然语言处理问题上得到了大量应用。本文回顾了以 BERT 为代表的预训练模型在信息检索领域的方法，涵盖了长文档处理、语义信息整合、平衡效果与效率、术语权重预测、查询扩展和文档扩展等六个高级类别，并与基于解码器的生成式大型语言模型进行了比较，结果表明在特定任务上，经过调优的 BERT 编码器仍然具有更好的性能和更低的部署成本。最后，总结了调查的全面结果，并提出了未来研究的方向。

    Feb, 2024

  • 预训练变形金刚模型用于文本排名：BERT 及其它

    本文主要阐述了如何将 transformers 和 self-supervised pretraining 技术应用于文本排名问题，组成了两个高级别的现代技术，即在多阶段架构中进行 reranking 的 transformer 模型和直接进行排名的密集检索技术，并对处理长文档和处理效率和效果之间的平衡这两个主题进行了分析，同时也展望了研究的未来方向。

    Oct, 2020