Tsetlin 机嵌入：用逻辑表达式代表单词

Jan, 2023

Tsetlin 机嵌入：用逻辑表达式代表单词

Tsetlin Machine Embedding: Representing Words Using Logical Expressions

Bimal Bhattarai, Ole-Christoffer Granmo, Lei Jiao, Rohan Yadav, Jivitesh Sharma

TL;DR本文提出一种利用命题逻辑表示单词语义的词嵌入方法，使用 Tsetlin 机器自编码器进行学习，探讨了其在自然语言处理领域中的重要性，对比了其他模型，研究表明在多项分类任务中表现良好，且具有一定的可解释性。

Abstract

Embedding words in vector space is a fundamental first step in state-of-the-art natural language processing (NLP). Typical NLP solutions employ pre-defined vector representations to improve generalization by co-locating similar words in vector space. For instance, Word2Vec is a self-su

word embedding natural language processing propositional logic tsetlin machine interpretability

发现论文，激发创造

探索词语和关系的理论表示

该研究提出了一种理论方法，将词嵌入和知识图谱中的实体及其关系的几何形状联系起来，以便更好地理解它们的语义结构和性能。

Feb, 2022

利用预训练的词向量增强可解释的语义子句

本文提出了一种新的使用预训练词向量表示的 Tsetlin 机器方法，通过从预训练的词向量中提取语义相关的单词作为输入特征来增强 TM 的性能和可解释性。该方法的精度显著高于以前基于 BOW 的 TM，达到了 DNN-based 模型的水平。

Apr, 2021

一种集成方法生成高质量的词向量嵌入（2016）

本文提出了一种集成方法，通过将 GloVe 和 word2vec 的嵌入方式与语义网络 ConceptNet 和 PPDB 的结构化知识相结合，将它们的信息融合成一个具有大型多语言词汇的共同表示，并达到了许多词语相似性评估的最先进性能

Apr, 2016

上下文词表示：一个上下文介绍

这篇论文介绍了自然语言处理领域的一个分支 —— 词向量，它们的产生、作用、历史发展以及现今面对的挑战，同时讨论了最新的研究成果 —— 上下文词向量。

Feb, 2019

构建可逆的语义保留逻辑公式嵌入

该研究工作探讨了如何使用基于图变分自编码器 (Graph Variational Autoencoder) 的深度架构来训练学习逻辑嵌入，以实现对逻辑嵌入的反向推理，即将嵌入空间中的逻辑公式反向映射回语法空间，进而提高机器学习中学习逻辑规则和性质的能力。

May, 2023

学习自然逻辑推理的分布式词表示

研究了两种基于神经网络学习嵌入的模型，试图支持自然逻辑所捕捉的丰富、多样的逻辑推理。实验结果表明，学习分布式表示在逻辑语义应用建模方面具有积极的前景。

Oct, 2014

深度上下文词表示

本文介绍了一种新型的深层上下文词表示方法，既能够建模单词用法的复杂特征 (如句法和语义)，又能够建模这些用法在语言上下文中的变化 (即建模多义性)，这些表示可以轻松地添加到现有模型中，并且可以显著提高 NLP 问题的性能。

Feb, 2018

使用通用和特定词嵌入来分类研究的翻译阶段

本文探讨使用无监督学习的方法，通过单词嵌入在词向量空间内学习语义相似性，以实现对文本分类任务的性能优化。研究发现，使用领域特定的词嵌入可以提高分类性能。

May, 2017

现有词嵌入方法的全面实证评估

本文通过对现有单词嵌入方法的特点和分类任务的分析，将单词嵌入方法划分为传统方法和基于神经网络的方法，揭示基于神经网络的单词表示方法相比于传统方法更能捕捉语言的语义和句法规律。实验验证了不同方法的性能差异。

Mar, 2023

神经机器翻译的依赖于上下文的单词表示

本文首次观察了神经机器翻译中不断向量表示的潜在弱点，基于此提出了利用非线性词袋表示法和类型化符号来提高对源语言和目标语言的区分度，从而显著提高了神经机器翻译系统的翻译质量。

Jul, 2016