Jun, 2024

MCSD：一个具有多样融合的高效语言模型

PDF
TL;DR通过线性扩展和快速推理速度，MCSD 模型利用多渠道斜率和衰减（MCSD）块实现对特征的鲁棒表示，通过跨多样的时间感受野提取特征，并通过元素级融合多样的特征以增强细致的特征提取能力。此外，MCSD 块将推理过程表达为递归表示，大幅减少空间复杂度至 O (1)，时间复杂度至 O (N)，在基准测试中表现出与更大规模语言学习模型相当的性能，同时实现了 Transformers 无法匹及的更高吞吐量和更低的 GPU 内存消耗，使其成为边缘部署和实体化智能的有前途的基础模型。
发现论文，激发创造
  • 多尺度协同深度模型用于神经机器翻译

    本文提出了一种名为多尺度协作（MultiScale Collaborative）的框架，通过引入块尺度协作机制和上下文尺度协作增强梯度反向传播，并让每个编码器块学习细粒度的表示，以增加神经机器翻译模型的深度，从而提高翻译质量，并在多项任务中证明了该方法的有效性。

    Apr, 2020

  • 多尺度分解 MLP-Mixer 用于时序分析

    提出了一种名为 MSD-Mixer 的多尺度分解 MLP-Mixer 模型，该模型通过学习将时间序列分解成不同的组成部分，并在不同层级上表示这些组成部分，以处理多尺度时间模式和通道间的依赖关系。通过在各种实际数据集上进行广泛实验，包括长期和短期预测、插补、异常检测和分类等五个常见时间序列分析任务，证明了 MSD-Mixer 在性能上明显优于其他最先进的任务通用和任务特定方法。

    Oct, 2023

  • 多语言神经机器翻译：深度编码器与多浅层解码器

    对多语种翻译使用深度编码器和浅层解码器 (DEMSD) 的方法，使得在翻译质量没有显著损失的情况下，可获得 1.8 倍的平均速度提升。

    Jun, 2022

  • 编码器 - 解码器多模态发言人变化检测

    本研究提出了一种基于多模态模型的演讲者变换检测方法，它不仅利用音频，还使用文本信息进行检测，并且在模态融合和编码器 - 解码器体系结构等方面进行了改进，实验结果表明该方法在准确率上取得了最好的效果。

    Jun, 2023

  • SSD-2: 扩展和推断时间融合的扩散语言模型

    通过研究和提出 Diffusion-based language models 的新方法，我们成功将 SSD-LM 模型从 0.4B 扩展至 13B 参数，同时提高了其训练和推断的效率，并能够根据指令进行微调，与自回归 LM 相比，Diffusion-based language models 在双向上下文方面的合作更加有效，从而提高了模型响应的质量和相关性。

    May, 2023

  • 自适应半参数语言模型

    该研究提出了一种结合大型参数神经网络和非参数周期性记忆组件的语言模型，通过缓存本地隐藏状态和检索一组最近的邻居标记来使用扩展的短期上下文和全局长期记忆，并设计门控函数来自适应地组合多个信息源来做出预测。

    Feb, 2021

  • 多尺度 Transformer 语言模型

    本文研究了多尺度变压器语言模型，提出了三种不同的架构，并实验性地证明了多尺度表示在内存效率，计算时间和困惑度方面的优势，具有特殊的吸引力。

    May, 2020

  • 多尺度膨胀卷积网络用于长期时间序列预测

    通过使用浅层扩张卷积架构以捕捉长时间序列的周期性和趋势特征，我们提出了多尺度扩张卷积网络 (MSDCN) 的方法，并设计了具有指数增长扩张和不同卷积核大小的不同卷积块来在不同尺度上采样时间序列数据。此外，我们利用传统的自回归模型来捕捉数据内的线性关系。通过在八个具有挑战性的长期时间序列预测基准数据集上进行实验证明，我们的方法优于先前的最先进方法，并与几种强基准方法相比显示出显著的推理速度改进。

    May, 2024

  • MSDF: 通用开放域多技能对话框架

    该研究提出了一种通用的多技能对话框架 MSDF, 它可以应用于不同的对话任务，并通过在不同的大型对话语料库上预训练响应生成器来实现。使用外部知识的灵活复制机制强化了在各种情境中的多种形式知识的利用，并且在多项任务中较基准模型表现更好。

    Jun, 2022

  • 多尺度变形器模型的序列生成学习

    本文提出了一种基于不同语言单元（包括子词、单词和短语）之间的关系建立多尺度 Transformer 模型 ——Universal MultiScale Transformer（UMST），实验证明它在几个测试集上都可比存在的流行基准模型获得更好的性能表现，且不影响效率。

    Jun, 2022