- 结构化状态空间模型是深层 Wiener 模型
为了促进机器学习和系统识别社区之间的有效交流,本文旨在以系统辨识友好的方式介绍结构化状态空间模型(SSMs)。SSMs 近期在机器学习社区受到欢迎,因为它们可以高效可扩展地训练以解决极长序列分类和回归问题。此外,SSMs 还被视为学习深威纳 - 时间尺度网络:用于时间序列数据的浅层神经网络
通过结合传统的离散小波变换的转换和扩张序列,利用卷积神经网络和反向传播方法,我们提出了一种最小化、计算效率高的时间尺度网络,它可以同时学习多个时间尺度的特征,用于序列分类,并且具有显著减少参数和操作的优势。在心房功能障碍检测和癫痫预测方面表 - Hamming 编码器:挖掘用于离散序列分类的辨别性 k-mers
提出了一种名为汉明编码器的新方法,利用二进制的一维卷积神经网络(1DCNN)架构来挖掘具有辨别力的 k-mer 集合,实现了序列分类,并在分类准确率方面优于现有的最先进方法。
- MLRegTest:机器学习正则语言的基准测试
本文提出了一种名为 MLRegTest 的新的机器学习系统性能基准测试,用于评估序列分类等不同模型在不同的正则语言种类及复杂程度情境下对长距离依赖关系的学习能力,结果表明神经网络的性能取决于测试集的种类、语言类别和神经网络的架构。
- KDDBioSequence2Vec: 生物序列嵌入生成的高效算法
本文提出了一种基于随机投影的低维嵌入方法,可以快速高效地计算不同形式的生物序列,从而避免了核方法的计算时间、内存使用和泛化性挑战。该方法的预测性能在多种真实分类任务中优于若干最先进的嵌入和核方法
- Seq-HyGAN: 基于超图注意力网络的序列分类
提出了一种名为 Seq-HyGAN 的超图注意力网络模型用于解决序列分类的挑战,并使用两级注意机制生成序列表示为超边,同时学习每个序列的关键子序列。实验结果表明,Seq-HyGAN 模型可以有效地分类序列数据并显着优于基线。
- 使用平衡传播进行序列学习
本文中,我们结合现代 Hopfield 网络作为注意力机制,扩展了基于平衡传播的模型在两个不同的自然语言处理任务(情感分析和自然语言推理)中的适用性,进一步理解基于能量的模型和开发解决复杂序列分类任务的解决方案。
- EMNLP超级解码器:用于多任务自然语言处理的特定实例解码器
该研究调查了针对 NLP 的输入条件化超网络用于多任务处理,生成一个基于编码器的输出条件化超网络对解码器的参数高效自适应。该方法应用于序列分类任务、问答和摘要等方面,发现这优于以前的参数优化和基于模型微调的方法。
- 使用循环扩张卷积神经网络分类长的连续数据
本文提出了一种基于循环膨胀卷积神经网络(Circular Dilated Convolutional Neural Network,CDIL-CNN)的对称多尺度架构,旨在解决长序列数据分类问题中 TCN 方法因使用不平衡连接协议和类别输出 - EMNLPSupCL-Seq: 下游优化序列表示的有监督对比学习
本文介绍了 SupCL-Seq,这是一种扩展了计算机视觉中的监督对比学习方法,应用于优化自然语言处理中的序列表示。通过改变标准 Transformer 架构中的 dropout 掩码概率,在每个表示(锚)上生成增强的变形视图,并使用监督对比 - ACL以敏感度为序列分类任务的复杂度测量
引入了一个理论框架来理解和预测序列分类任务的复杂性,使用布尔函数灵敏度理论的新扩展。在一些 NLP 任务中使用此框架,发现具有挑战性的任务比简单文本分类任务具有更高的敏感度,并且敏感度预测了低敏度解码器的表现。此外,表明高性能的预训练文本表 - ACLProteno:基于少量数据的文本归一化技术,用于快速部署文本转语音系统
使用少于 3% 英文数据的量,我们提出了一种新颖的体系结构来促进多种语言的 TTS 文本归一化系统,将 TN 视为一个序列分类问题,并提出了一种细粒度的分词机制,该机制使系统能够从训练数据本身学习大部分类及其归一化,同时结合最少的预先编码的 - 使用预训练 Transformer 作为通用计算引擎
本研究探究了预先在自然语言处理上训练的 transformer 模型是否可以在最小化调整下进行泛化以适用于其他模式,并研究其在数字计算、视觉和蛋白质折叠预测等序列分类任务上的优化性能。结果表明,预训练模型对非语言下游任务的性能和计算效率都有 - ProtoDA: 少样本意图分类的高效迁移学习
该研究探讨了在自然语言处理中实用的序列分类任务通常受到目标类别低训练数据可用性的影响,利用原型网络的元学习范式在相关任务集合上进行转移学习来缓解这个问题,并使用数据增强在句子嵌入空间和原型嵌入空间来提高分类性能,相对于 5-shot 和 1 - 可解释的序列分类:离散优化方法
本文提出了一种基于有限状态自动机的序列分类器,能够支持更早的分类并具有解释性和强大的实证表现。它具有可比较于 LSTM 的测试性能并具有可解释性的优点。
- KDD基于随机特征的高效全局字符串核函数:超越子结构计数
使用全局字符串内核通过随机特征映射来维护正定性并避免对角线支配的内核矩阵,具有与字符串长度和训练字符串样本数量的线性训练成本。
- 基于字符串核的序列分类的高效近似算法
本文中,我们提出了一种新的技术,能够高效准确地估计序列之间的相似度得分,从而增加了序列分类方法在音频、图像和文本序列中的应用广度,并且取得了良好的理论和实验表现。
- 使用循环神经网络对限价订单簿进行序列分类
该论文研究了利用 RNN 对高频交易进行序列分类的问题,通过使用有限订单薄深度和市场订单的短序列预测下一个事件价格变化,从而减少了不利价格选择的可能性,并且展示了 RNN 对有限订单薄的非线性关系的良好捕捉能力。
- 使用张量列压缩循环神经网络
本文提出了使用 Tensor Train 格式来表示循环神经网络参数,从而显著降低参数数量的替代型循环神经网络,对比未压缩的循环神经网络在序列分类和序列预测中的表现,结果显示其性能不降反升,同时减小了 40 倍的参数数量。
- CVPR用于稳健序列分类的时间注意力门控模型
本文提出了一种称为 Temporal Attention-Gated Model (TAGM) 的模型,将注意力模型和门控循环网络的思想集成在一起,以更好地处理嘈杂或未分段的序列,实现了更好的预测准确性和可解释性,这在口头数字识别,基于文本