本研究提出了一种基于一维膨胀卷积的字符级别方法,用于重建拉丁字母为基础、英语为主导的互联网语言环境中的发音符号。该方法比基于递归神经网络或语言建模的方法表现更佳,且适用于 Web 浏览器,尤其适用于匈牙利语等语言的应用。
Jan, 2022
视频情感识别是通过一系列方法如 GRUs、LSTMs、自注意力机制、Transformers 和 TCNs 改善了基于视频情感识别,然而这些方法存在内存使用高、操作量大或梯度下降不良的问题。我们提出了一种称为邻域注意力与卷积 TCN(NAC-TCN)的方法,它结合了注意力和时序卷积网络的优点,并确保理解因果关系,从而减少计算和内存成本。我们的模型在标准的情感识别数据集上比 TCNs、TCAN、LSTMs 和 GRUs 取得了相当好或最先进的性能,并且需要较少的参数。我们在线发布了我们的代码,以便其他项目能够轻松复现和使用。
Dec, 2023
我们提出了一种基于时间卷积网络和注意力机制的探索性架构称为 TCAN,它不仅能够实现递归网络的近似替代,还可以吸收前向模型的优势,提高了 word-level PTB、character-level PTB 和 WikiText-2 等文本数据集的 bpc/perplexity 表现.
Feb, 2020
本文提出了一种新颖的深度卷积神经网络架构 RCNN-CTC,其通过残差连接和时间分类损失函数,能够同时利用语音信号的时间和光谱结构,并提出了一种 CTC-based 系统组合方法,可以显著减少 WSJ 和腾讯 Chat 数据集上的语音识别误差率。
Feb, 2017
本研究旨在改进当前用于野外孤立词识别的最先进模型,首先通过引入 TCN 替代 BGRU 层,简化训练过程,其次,提出变长度数据增强技术,最终在两个最大的公开数据集上展示了 1.2% 和 3.2% 的性能增益,这是最新的最先进性能。
Jan, 2020
本文提出了一种基于卷积层的神经机器翻译框架,相比双向 LSTM 网络,该框架可以同时编码整个源语句,从而加速了翻译速度,在 WMT'16 数据集上达到了竞争水平的准确性,并在 WMT'15 和 WMT'14 数据集上取得了优异的结果。
Nov, 2016
该论文介绍了一种新的框架 PSTA-TCN,该框架将并行时空关注机制与轴承温网络相结合,从而达到了更长的记忆,并且使用并行计算大大缩短了训练时间,可以更好地用于多元时间序列预测任务。
Mar, 2022
本文提出了几种用于阿拉伯文本自动标点的深度学习模型。模型既采用前馈神经网络也采用循环神经网络,包括诸如 100 热编码,嵌入式等多种增强技术。结果表明,与其他需要语言相关的后处理步骤的模型相比,我们的模型要么更好,要么与之相当。此外,我们还提出通过标点符号的使用,改善自然语言处理任务,如机器翻译。
Nov, 2019
本文提出了一种基于局部表示对齐算法训练的并行时间神经编码网络 (P-TNCN),用以解决通过时间反向传播所存在的困难和问题,比如序列建模基准测试中表现优异,具有零 - shot 适应能力和在线连续序列建模的能力。
Oct, 2018
本研究提出了一种名为 DC-TCN 的方法,使用密集连接的时间卷积网络和轻量级的 Squeeze-and-Excitation 注意力机制来进行单词的唇语识别,取得了 88.36%和 43.65%的识别准确率,超越了其他基准方法,成为两个数据集的新的最先进技术。
Sep, 2020