自然语言处理中的结构化核学习
我们提出了一种新颖的算法,可以同时进行输入数据的表示学习和层次预测器的学习,该算法通过优化多向节点划分的平衡和易分离性来实现目标函数,从而实现分类误差的上界和提高准确性,并将算法的变体应用于文本分类和语言建模中。
Oct, 2016
本文研究在语音识别中应用大规模核方法和深度神经网络进行声学建模,并比较它们的性能。我们在四个数据集上进行了实验,使用随机傅里叶特征方法以扩展核方法的规模,在特征选择和监控基于帧的指标等方面提出了两种新技术,并演示了这些方法综合运用可以将核声学模型的性能提高到与深度神经网络相似的水平。
Jan, 2017
本文提出了Gumbel Tree-LSTM,一种动态学习如何高效地组成特定任务的树形结构的长短时记忆网络,可用于自然语言推理和情感分析任务中,并能与以前的模型相媲美甚至胜出,同时收敛速度更快。
Jul, 2017
研究正定核的两种广泛使用的方法之间的差距,即贝叶斯学习或使用高斯过程进行推理和基于再生核希尔伯特空间的频率核方法,参考新旧结果和概念并比较算法数量和哲学理论差异。
Jul, 2018
研究了在上下文词分类中使用内核函数代替内积函数的效果,通过在标准的语言建模和机器翻译任务上进行实验,探讨了不同内核设置对性能的影响,并研究了梯度属性、混合策略和消歧能力。
Oct, 2019
该论文介绍了在自然语言处理和机器学习中,为了提高模型性能和解释性,学习离散结构的方法。论文提出了三种主要的方法:代理梯度、连续松弛和基于采样的边缘似然最大化,最终总结了这些方法的应用和学习的潜在结构的检查。
Jan, 2022
使用结构化提示技术,我们证明了预先训练的语言模型(PLMs)可以在零或少量样本情况下执行标记任务,而不是仅靠表面级别的词汇模式,这表明PLMs包含了一种通用的语言学知识表示方式。
Nov, 2022
本文介绍了一种基于MapReduce编程范式实现的并行计算算法,在树内核学习方法中应用广泛的交叉子树核计算的顺序算法基础上,优化计算时间,扩展了算法的适用性。实验表明,并行算法在树语言数据集上的计算效率远高于序列算法。
May, 2023
通过在词汇层面上构建语义结构的二元向量表示方法,研究并总结了一个基于神经组件和层次符号组件相互配合的语义引导语言模型在提高文本生成的可预测性和语言解释性上的表现所必须具备的条件,包括语义向量表示的维度,以及对这些表示结果涉及噪声和信号的分布等。
May, 2023