MMSep, 2020

语言嵌入中受生物启发的结构识别

PDF
TL;DR本研究使用生物启发方法来遍历和可视化词嵌入，并显示了其可理解的结构。此外，我们的模型还生成可信的单词相似性排名。我们还展示了使用生物启发模型在不同的单词嵌入技术之间进行比较，以研究其对语义输出的影响，这可以强调或模糊文本数据中的特定解释。
word embeddingslanguage modelingbio-inspired methodologysemantic outputstextual data
发现论文，激发创造
  • 词嵌入的形状：通过拓扑数据分析识别语言谱系

    通过使用形式上标记的嵌入的形状之间的距离矩阵，利用持久同调的概念，对 81 种印欧语言进行语言进化树的重建。

    Mar, 2024

  • 词嵌入的语义结构和可解释性

    该研究提出了一种统计方法来揭示密集词嵌入中的潜在语义结构，并引入了一个新的数据集（SEMCAT），其中包含超过 6500 个在 110 个类别下语义分组的单词。研究还提出了一种量化词嵌入可解释性的方法，这是一种实用的替代方法，不需要人为干预。

    Nov, 2017

  • 形态学词向量

    通过使用德语数据作为案例研究，我们使用语素标注数据引导连续单词嵌入，使嵌入空间中的接近词彼此共享语素特征，并展示了我们学习得到的嵌入实现了这一目标。

    Jul, 2019

  • 利用词嵌入进行类比任务预测药物 - 基因关系

    利用自然语言处理和 BioConceptVec 嵌入，预测药物和靶基因的关系，通过生物途径的分类改善性能，并通过历史关系的向量预测未知的未来关系。

    Jun, 2024

  • 利用结构信息学习蛋白质序列嵌入

    本研究提出了一种基于表征学习的框架，将蛋白质序列映射到表示蛋白质结构信息的序列向量中，并通过双向 LSTM 模型和全局结构相似度以及单个蛋白质残基接触映射的反馈机制进行训练，实现了蛋白质序列在预测结构相似性方面的多任务学习，而且该方法在跨膜域预测方面也取得了优异的表现。

    Feb, 2019

  • 利用大型语言模型嵌入追溯思想的谱系

    通过使用大规模语料库中语言模型的独特优势来检测知识影响，本文提出了一种新方法，并应用组合方法来实现不同阈值下的引用、改写或相似性，通过使用这种方法在 19 世纪的大规模学术著作中检测达尔文的观点，证明了该方法的可行性和广泛适用性。

    Jan, 2024

  • 探索词语和关系的理论表示

    该研究提出了一种理论方法，将词嵌入和知识图谱中的实体及其关系的几何形状联系起来，以便更好地理解它们的语义结构和性能。

    Feb, 2022

  • 生物医学自然语言处理的词嵌入比较

    本文探讨了使用不同的资源如临床笔记、生物医学出版物、维基百科和新闻训练的词嵌入，经过定性和定量评估后发现，基于临床笔记和生物医学出版物训练的词嵌入能更好地捕捉医学术语的语义，更接近于专家的判断，但是，无法为所有下游生物医学 NLP 任务提供一致的全局排名，只能将它们作为额外特征来提高大多数下游任务的结果。

    Feb, 2018

  • 蛋白质图形的神经嵌入

    本文提出了一种利用图神经网络和自然语言大模型生成结构和序列感知型蛋白质表示的新框架，并将其与传统的基于结构对齐的方法相比较，证明了该方法在比较蛋白质结构和蛋白质结构分类任务中的优越性能。

    Jun, 2023

  • 利用单语嵌入中的结构相似性进行非监督式词汇对应

    本文提出了一种无监督的方法来学习一对语言的双语词典，并利用单语向量空间中的局部和全局结构将它们对齐，从而使相似的单词映射到一起，实验表明，使用提出的无监督方法学习的双语对应词性能与使用监督学习的双语对应词从种子词典中学习的相当。

    Dec, 2017