基于注意力神经树解码的结构化多标签生物医学文本标记
我们介绍了一种利用循环神经网络语法编码器和新颖的注意力递归神经网络解码器的模型,利用策略梯度强化学习来在源语言和目标语言上诱导无监督树结构,从而训练出在字符级数据集中相当不错的分割和浅层解析表现,接近注意力基准。
Sep, 2017
本文提出了一种新的端对端句法神经机器翻译模型,在源端短语结构的基础上扩展了序列到序列模型,并引入了注意力机制,可以软对齐短语和源句子中的单词,实验结果表明,相比于序列到序列的注意力 NMT 模型,该模型表现显著提升,在 WAT'15 英日翻译数据集上,与当下最优秀的树到串翻译系统相比可媲美。
Mar, 2016
本文提出了一种层次注意机制的神经翻译模型,采用双向树形编码器来增强源端层次表示,用加权变异的注意机制平衡词汇和短语向量之间的信息,通过树形稀有词编码将该模型扩展至亚字级别以缓解词汇缺失的问题,实证结果表明,该模型在英汉翻译任务中显著优于序列到序列的注意力机制和基于树的神经翻译模型。
Jul, 2017
本研究提出了一种基于 Tree-enhanced Multimodal Attention Network (TreeMAN) 的方法,将 EHR 中的结构化医疗数据和文本特征融合成多模态表示。通过决策树学习,TreeMAN 能够更好地捕捉 ICD 编码的决定性信息。实验证明,该方法优于现有 ICD 编码方法。
May, 2023
本文提出了一种基于树形结构的注意力神经网络模型,用于情感分类问题。该模型使用自下向上和自上而下的信息传播结合语法树中节点周围的结构信息。模型在构建句法树时,利用结构注意力识别最显著的表示。实验结果表明,该模型在斯坦福情感树库数据集上实现了最先进的性能表现。
Jan, 2017
本文提出了一种名为 Text2Tree 的新型算法,该算法只利用内部标签层次结构来训练深度学习模型,通过嵌入 ICD 标签树结构到级联注意力模块中,学习具有层次感知的标签表示。引入了相似度替代学习(SSL)和差异混合学习(DML)两种新的学习方案,通过重用和区分其他标签的样本来提高文本分类性能。实验证明,我们的方法在公共数据集和真实医疗记录上表现出优于传统和先进的不平衡分类方法的稳定性能。
Nov, 2023
提出了一种少样本学习方法,使用神经主题 - 注意力模型来改进具有主题信息的上下文化句子表示,以在短量非平衡训练数据集上显著提高医学术语缩略语消歧的性能,尤其是针对罕见意义,已有的稀缺注释数据集不准确和缺失,需要进行修正和补充。
Oct, 2019
本文提出了一个新的端到端的模型,使用多模式树解码器 (MTD) 来作为 HierDoc 的基准评测,在提取文档标题和分级之间的关系时,模型使用文本、视觉、布局信息等多模态特征进行融合,最终在 TEDS 相似度度量和 F1-Measure 上平均分别达到了 87.2% 和 88.1% 的表现。
Dec, 2022
本文介绍一种基于层次化顺序标记网络的方法,利用上下文中的信息来帮助分类当前句子,解决了传统单句分类方法在连续多句分类中的问题,并在医学科学摘要的顺序句子分类任务中,取得了比最先进方法高出 2%-3% 的分类性能表现。
Aug, 2018
本文介绍了一种关注编码器,结合了树状递归神经网络和序列循环神经网络,用于对模拟句子对。我们的关注编码器将 RNN 生成的一个句子的表示用于指导另一个句子的结构编码,评估结果表明,在语义相似度和释义选择方面,我们的编码器优于所有基线,并取得了最佳结果。
Oct, 2016