Apr, 2021

利用预训练的词向量增强可解释的语义子句

PDF
TL;DR本文提出了一种新的使用预训练词向量表示的 Tsetlin 机器方法，通过从预训练的词向量中提取语义相关的单词作为输入特征来增强 TM 的性能和可解释性。该方法的精度显著高于以前基于 BOW 的 TM，达到了 DNN-based 模型的水平。
tsetlin machineprop positional logicpre-trained word representationsnlp tasksinterpretability
发现论文，激发创造
  • Tsetlin 机嵌入：用逻辑表达式代表单词

    本文提出一种利用命题逻辑表示单词语义的词嵌入方法，使用 Tsetlin 机器自编码器进行学习，探讨了其在自然语言处理领域中的重要性，对比了其他模型，研究表明在多项分类任务中表现良好，且具有一定的可解释性。

    Jan, 2023

  • 深度上下文词表示

    本文介绍了一种新型的深层上下文词表示方法，既能够建模单词用法的复杂特征 (如句法和语义)，又能够建模这些用法在语言上下文中的变化 (即建模多义性)，这些表示可以轻松地添加到现有模型中，并且可以显著提高 NLP 问题的性能。

    Feb, 2018

  • 分布式词表示的预训练技术进展

    本文着重讨论了如何通过使用已知技巧来训练高质量的单词向量表示，以提高自然语言处理任务的表现，并提供了一组公开可用的预训练模型，能在多项任务上远远优于现有技术。

    Dec, 2017

  • 预训练语言模型表示用于语言生成

    本文研究了将预训练的语言模型表征集成到序列到序列模型中的不同策略，并将其应用于神经机器翻译和抽象摘要。实验证明，加入编码器网络的预训练表示是最有效的，可以在减慢推理速度仅 14％的情况下获得高达 5.3 BLEU 的增益，并且即使有数百万个句对可用时，仍然可以观察到改进。最后，在 CNN / DailyMail 的完整文本版本上，我们达到了最新的研究成果。

    Mar, 2019

  • 带有句法感知词表示的句法增强神经机器翻译

    本研究提出了一种基于依赖解析器的隐式语法表示方法，通过使用中间隐藏的依赖解析器表示来增强基础神经机器翻译模型，可以在中英文和英越翻译任务的基准数据集上显著提高 BLEU 打分表现，并超过了显式树状 RNN 和线性化方法。

    May, 2019

  • BERTTM：利用预训练语言模型的上下文化单词嵌入来进行神经主题建模

    本研究开发了一种新型的神经主题模型，结合了来自预先训练的语言模型 BERT 的上下文化单词嵌入，无需使用任何词袋信息即可推断文档的主题分布，实验表明该模型在文档分类和主题连贯度指标方面优于现有主题模型，并可处理来自新到达文档的未见单词。

    May, 2023

  • 深度学习用于可解释的自然语言处理

    利用原型学习方法和自然语言处理，我们提出了一种学习加权相似度度量的方法，增强了相似度计算，并提出了一个可提取预测相关单词的解释机制来改进预测性能和解释质量。

    Oct, 2023

  • 双向语言模型的半监督序列标注

    本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

    Apr, 2017

  • 利用词语语义丰富汉语预训练模型的字表示

    本文提出了一种新的方法，利用单词结构并将词汇语义融入预训练模型的字符表示中，以加强单词信息的表达，通过词 - 字符对齐注意机制和集成方法来提高不同中文自然语言处理任务的性能，并进一步证明了模型各组件的有效性。

    Jul, 2022

  • Tsetlin 机全局和局部解释的闭合表达式及其在高维数据解释中的应用

    本文提出了用于理解 Tsetlin Machines 模型的闭式表达式，并从模型的合取子句中直接制定了表达式，使其可以实时捕捉功能的作用并进行可视化高维数据的新数据聚类算法。通过与 SHAP 和其他解释机器学习技术的对比，该方法具有竞争性的预测精度。

    Jul, 2020