- ACL利用大规模跨语言模型在不同维度之间确定音频录音之间的相似程度
在低资源语言研究的高度受限背景中，我们探讨了预训练模型的语音向量表示，以确定其相对于音频信号的抽象程度。我们提出了一种新的无监督方法，利用精心策划的元数据在音频录音上进行 ABX 测试，以揭示这些表示所包含的信息类型。通过三个实验，验证了从 - EMNLP探测是否足够？指示性任务作为探测嵌入空间的替代方法
通过引入非可训练任务（指标任务），我们展示了利用适当的指标可以更准确地获取嵌入表示中的信息，并较之探测任务的结果更能反映嵌入空间中存在的属性。因此，我们认为在提取嵌入表示的信息时应考虑实施和考虑指标任务。
- MM电子商务查询的语义等价性
在电子商务搜索中，搜索查询的变化构成了挑战，因为等效的搜索意图可以通过不同的查询表达出来。本文介绍了一个框架，以识别和利用查询等效性来增强搜索者和商业结果。该方法解决了三个核心问题：将查询映射到搜索意图的向量表示、识别表示等效或相似意图的最 - ACL生成式嵌入反演攻击揭示句向量的信息泄露
通过生成对抗网络逆向语言模型的句向量表示，揭示其可能存在的信息泄露，并提出一种更为高效的逆向分析方式。
- 评估人工合成预训练在手写处理任务中的应用
本文探讨了在合成单词图像上进行大规模预训练，以提高四项基准笔迹分析任务的性能。作者利用全监督目标对简单的卷积神经网络进行训练，得到编码笔迹风格的图像向量表示，进而实现了笔迹风格的作者检索、鉴别、验证、分类任务，并展示了该预训练策略提取了作者 - EMNLP跨语言词向量的视觉定位
通过在英语、阿拉伯语和德语等语言间建立隐式的视觉及语言空间交互，研究探讨跨语言的词嵌入的视觉基础。结果表明，跨语言知识可以增强相似语言的嵌入性能，但德语或英语与阿拉伯语之间的跨语言基础稍有劣化，在归类基准上，阿拉伯语对英语改进最多。该实验为 - ACL离散余弦变换作为通用句子编码器
提取多种语言的通用句向量表示，并评估其在情感分析等多项任务中的优异性能表现。
- EMNLP一种使用预先训练的自编码器进行跨语言语言转换的简单几何方法
本文研究了在多语言训练中的强大的语句编码器，探讨了是否可以通过几何映射来间接地操纵语言属性，并用预训练的多语言自编码器验证了该方法的有效性。
- ACL开放域问答中的补充证据识别
本篇文章提出了一种新的问题 - 对于开放领域问题回答的补充证据识别，提出了一种基于向量表示的段落筛选方法，考虑了证据间的相关性和多样性， 明显提高了 QA 领域中的补充证据选择准确性。
- 面向内存受限环境的深层对比学习批量大小缩放
该论文介绍了一种称为渐变缓存的技术，该技术使用批次内负样本来学习高质量表示，并使得梯度可以逐个子集计算，从而减少内存使用。
- 多图卷积协同过滤
本文提出了一个基于图卷积的推荐框架，名为 Multi-GCCF，该框架利用了用户项目交互数据和用户对和项目对之间的相似性来建立分区图和 user-user /item-item 图，并在双分图上执行图卷积，在四个公共基准测试中取得较显著的改 - BioConceptVec：在大规模文献基础上创建和评估基于生物医学概念的嵌入
本篇研究提出了 BioConceptVec，通过利用最先进的文本挖掘工具和机器学习模型学习 PubMed 摘要中介绍的超过 400,000 个生物概念的向量表示（即嵌入），来捕捉相关概念的语义。BioConceptVec 已经在包括 9 个 - AAAI使用指南针训练时间词嵌入
本文提出了一种基于 Word2Vec 模型的新启发式方法来训练时间词嵌入，即使用不随时间变化的向量作为参考来简化训练过程以提高效率，并在现有数据集上进行的实验结果表明该方法比其他可比较方法表现更好且对语料库大小有更高的鲁棒性。
- SIGIR检索多实体关联性：词嵌入组合模式的评估
本研究探讨了基于流行的嵌入方法训练矢量表示的实体注释新闻语料库的应用，以预测实体参与新闻事件，并测试了一些嵌入矢量的组合模式以支持多参与实体事件查询。我们发现，虽然单一的基于词嵌入的组合模式并不能完全达到传统词共现网络的水平，但不同的嵌入方 - 自然语言处理中的注意力
本文提出一种统一的注意力机制模型，针对自然语言处理领域中基于文本数据向量表示的注意力机制的四个维度进行了分类。本文通过举例说明如何在注意力模型中利用先前信息，并讨论了该领域正在进行的研究工作和开放性挑战。这是该领域中广泛文献的首次广泛分类。
- ICML通过自动摘要探索句向量空间
利用神经网络对单词进行矢量表示后，本文探讨了在自动文摘的语境下，矢量表示的句子向量的特性，包括其与文档向量之间的余弦相似度与句子重要性的强关联、向量语义可用于识别和纠正选择的句子和文档之间的差距以及有效摘要所需的特定维度的相关性等。同时，本 - COLING基于门控图神经网络的知识库问答语义建模
本研究中，我们提出使用门控图神经网络来编码语义解析的图形结构，以解决学习复杂语义解析向量表示的问题。该方法在两个数据集上均优于不显式建模结构的基线模型，并通过误差分析成功处理复杂语义解析。
- ICLR通过大规模多任务学习学习通用分布式句子表示
本论文探讨了利用多个训练目标来学习句子表示的多任务学习框架，提出了一种有效实现的方法，通过多项实验得出该方法可以在转移学习和低资源环境中大幅度提高语言处理的效率。
- TransRev: 将评价建模为用户到商品的翻译
研究提出了 TransRev 方法，将情感分析、推荐系统和多关系学习相结合，学习出用户、物品和评论的向量表示，并通过加权平均来进行评论预测。TransRev 在多个基准数据集上表现优于现有的推荐系统。
- ACLDisSent: 显式语篇关系的句子表征学习
利用依存分析和基于规则的指标，我们能够通过利用显式的篇章关系来筛选高质量的句子关系任务，从而得出高质量的句子嵌入向量及用作 BERT 等更大型模型的监督微调数据集。