Jul, 2023

Conformer LLMs -- 卷积增强的大型语言模型

PDF
TL;DR本文将卷积层和 Transformer 这两个流行的神经网络块与大型语言模型（LLMs）进行整合。通过使用因果卷积滤波器和 Transformer 将潜在表示的局部和全局依赖相结合，取得了显著的性能提升。这项工作展示了一种强大的语音架构，可以在语言建模的大规模应用中进行整合和适应。
neural architectureconvolutional layerstransformersllmscausal convolutional filters
发现论文，激发创造
  • Conformer: 卷积增强变压器（Convolution-augmented Transformer）用于语音识别

    本文提出了一种名为 Conformer 的语音识别（Automatic Speech Recognition）模型，结合了 Transformer 和卷积神经网络 (Convolution neural network) 的优点，在参数更少的情况下实现对于语音序列的局部和全局依赖的建模，并在 LibriSpeech benchmark 测试中取得了 2.1%/4.3%（未使用语言模型）和 1.9%/3.9%（使用外部语言模型）的字错率（Word Error Rate），表现超越了之前的基于 Transformer 和 CNN 的模型。

    May, 2020

  • 使用 Conformers 的端到端音视频语音识别

    本文提出一种基于混合 CTC / 注意力模型的 ResNet-18 和卷积扩充变压器 (Conformer)，可以进行端到端的训练。在语音识别方面取得了具有突破性的进展，实现了最先进效果。

    Feb, 2021

  • 基于自适应的 Conformer 的连续手语识别与无监督预训练

    该研究通过使用 Conformer 和 Cross-Modal Relative Attention (CMRA) 来进行连续手语识别，利用 Regressional Feature Extraction 进行预训练，证明了这些方法在 PHOENIX-2014 和 PHOENIX-2014T 两个基准数据集上取得了最好的成果。

    May, 2024

  • 转型与超越：用于基因组的大型语言模型

    基于转换器架构的大型语言模型（LLMs）在基因组学中扮演了转变性的角色。本文旨在成为对基因组数据感兴趣的计算生物学家和计算机科学家的指南，同时也希望为生物学家们介绍和讨论我们将来如何分析基因组数据的基本转变。

    Nov, 2023

  • 基于约束的因果发现的大型语言模型

    本文研究了大型语言模型在生成因果图方面的能力，通过将条件独立性查询作为 LLM 的提示并与 PC 算法的答案结合，提出了一种基于统计启发的投票模式来改善性能，并发现因果推理可以用于对概率查询进行合理解释，从而证明了基于知识的因果推理可能成为一种补充数据驱动因果发现的工具。

    Jun, 2024

  • CausalLM 不适用于上下文学习

    本文以理论方法分析了前缀语言模型（prefixLM）和因果语言模型（causalLM）在一定参数构建下的收敛行为，理论和实证结果表明，前缀语言模型（prefixLM）在线性回归问题中收敛至最优解，而因果语言模型（causalLM）的收敛动态遵循在线梯度下降算法，其在样本数无限增长情况下无法保证最优解，同时经实验验证了因果语言模型（causalLM）在所有设置下表现不如前缀语言模型（prefixLM）。

    Aug, 2023

  • 基于 Transformer 的因果语言模型进行聚类

    通过对合成数据集的分析，我们发现大规模语言模型通过将数据在其隐藏空间内进行聚类学习特定任务的信息，并且这个聚类过程在学习过程中动态演化，从而帮助模型处理未知的实例。

    Feb, 2024

  • 高效的构象器：渐进式下采样和分组注意力用于自动语音识别

    本文介绍了如何通过引入逐渐下采样的机制和新颖的分组注意力机制将 Conformer 架构的复杂性降至与有限计算预算相适应的情况。在 LibriSpeech 数据集上进行的实验说明，该架构相比于 Conformer 速度更快，性能更好，且包含更少的参数。

    Aug, 2021

  • 大型语言模型能学习独立因果机制吗？

    利用因果关系的两个概念在大型语言模型中学习独立因果机制，通过引入路由方案实现网络的专业化，并采用最小化互信息目标训练一个独立模块来学习抽象和领域不变机制，从而改善抽象和因果推理任务的超越分布性能。

    Feb, 2024

  • 大型语言模型与协作中的因果推断：综合调查

    因果推断在捕捉变量之间的因果关系方面显示出在增强自然语言处理模型的预测准确性、公平性、鲁棒性和解释性方面的潜力。生成大型语言模型在通过其先进的推理能力显著影响各种自然语言处理领域的同时，这篇综述从因果的角度对生成大型语言模型进行评估和改进，从而理解和提高生成大型语言模型的推理能力，解决公平性和安全性问题，提供解释支持，并处理多模态数据。与此同时，生成大型语言模型强大的推理能力可以推动因果推断领域的发展，帮助发现因果关系和因果效应估计。本综述旨在探索因果推断框架和生成大型语言模型之间的相互作用，强调它们共同潜力以进一步开发更高级、更公平的人工智能系统。

    Mar, 2024