阅读理解中词嵌入的比较研究

Mar, 2017

A Comparative Study of Word Embeddings for Reading Comprehension

Bhuwan Dhingra, Hanxiao Liu, Ruslan Salakhutdinov, William W. Cohen

TL;DR本研究针对阅读理解任务过往的机器学习研究，发现所使用的预训练词向量和测试时的未登录词处理方法等看似微小的选择，比起架构选择对最终性能的影响更大。我们对这些选择进行系统探讨，为从事该领域研究的学者提供建议。

Abstract

The focus of past machine learning research for reading comprehension tasks has been primarily on the design of novel deep learning architectures

发现论文，激发创造

本文通过对现有单词嵌入方法的特点和分类任务的分析，将单词嵌入方法划分为传统方法和基于神经网络的方法，揭示基于神经网络的单词表示方法相比于传统方法更能捕捉语言的语义和句法规律。实验验证了不同方法的性能差异。

Mar, 2023

本研究探讨了深度学习中用于嵌入的各种随机和预先训练的初始化方法对四个自然语言处理任务性能的影响，结果表明预先训练的嵌入略优于随机初始化，但只要方差保持合理，各种随机初始化方法并没有显著差异，并发现高方差初始化会阻止网络使用嵌入空间而强制其使用其他自由参数来完成任务。

Nov, 2017

本文探讨使用无监督学习的方法，通过单词嵌入在词向量空间内学习语义相似性，以实现对文本分类任务的性能优化。研究发现，使用领域特定的词嵌入可以提高分类性能。

May, 2017

本文研究了词嵌入在查询扩展中的应用，结果表明全局训练的 Word2Vec 和 GloVe 等词嵌入不能很好地完成信息检索任务，建议其他使用全局嵌入的任务也可以受益于使用局部嵌入。

May, 2016

论文研究了使用神经网络和预训练语言模型来提取文件中问题的答案，通过提供丰富的上下文表示并允许模型在上下文相关和上下文无关的单词表示之间进行选择，可以获得比现有技术更好的性能。

Dec, 2017

本文提出了一种字符增强的阅读器，结合字和字符嵌入的不同集成策略，用一份短列表来增强字嵌入，从而改善字的表示，特别是罕见的字。实验结果表明，这种方法显著优于各种公共基准测试中的当前最先进方法。

Aug, 2018

本研究主要通过对情感极性和同义词 / 反义词关系的评估，比较不同嵌入方法之间的质量差异，并探讨嵌入空间中维数的多少以及每个维度的分辨率对 NLP 任务的影响。结果表明嵌入方法在不考虑句子结构的情况下可以捕捉到非常微妙的语义，而确定嵌入方法的质量和特性对最终结果具有重要影响。

Jan, 2013

本研究总结了最近的构建定长、密集、分布式单词表示的主要策略，并阐述了这些表示通常被称为单词嵌入，并除了编码出色的句法和语义信息之外，还被证明在许多下游自然语言处理任务中有用的额外特征。

Jan, 2019

该论文的第一部分介绍了词嵌入的必要性、创建方法、有趣的属性及其与图像嵌入的比较；第二部分实现了一个基于预训练词向量的卷积神经网络，用于几个句子级分类任务，取得了与最先进技术相当或领先的结果，说明与随机的词向量相比，预训练的词向量具有强大的能力。

Oct, 2016

本文提出了一种使用子词而非字符的词嵌入增强方法，以增强阅读理解模型。在不同的扩充策略下，该方法在公共数据集上显着优于现有的基线模型。

Jun, 2018