- 用于文本分类的脉冲卷积神经网络
本研究介绍了一种用于文本分类的 “转换 + 微调” 两步方法，提出了一种将预训练词嵌入编码为脉冲训练的简单而有效的方式，并经验证通过使用替代梯度进行微调后，这些转换后的脉冲神经网络在英文和中文数据集上能够以更少的能量消耗与深度神经网络有可比 - 利用大型预训练语言模型协助 FDA 进行医疗器械上市前审批
本文提出一种可能用于协助 FDA 医疗器械营销过程的自然语言处理方法，使用先训练的快速文本嵌入和大型先训练的句子嵌入模型来评估设备描述的准确性，并探讨这些模型是否能识别错误分类的设备。结果表明，T5 和 MPNet 与 GPT-3 语义搜索 - CVPR解耦属性和物体的视觉嵌入
本研究针对目标属性识别的组合式零样本学习问题，提出了一种新颖的体系结构，用于在视觉空间中区分属性和对象特征并使用视觉分解特征产生代表性的嵌入，旨在更好地正则化模型的学习，实验结果表明我们的方法在 MIT-States，UT-Zappos 和 - EMNLP运用语义增强的方式进行社交媒体文本的命名实体识别
在本文中，我们提出了一种基于神经网络的命名实体识别方法，它能够同时考虑本地文本信息和通过对大规模语料库进行语义扩充所获得的信息，并且采用注意力机制和门控机制来编码和聚合这些信息，从而在三个从英文和中文社交媒体平台收集的基准数据集上展现出了明 - COLING自编码提升预训练词嵌入
本文研究了预训练单词嵌入的几何结构特征，实验证明保留 top 主成分以提高预训练单词嵌入的准确性是有用的，无需额外的语言资源或标注数据。
- 针对生物医学自然语言处理任务的对抗性样本
本文介绍了在医疗领域中使用模型的预训练词嵌入的成功，讨论了 BERT 语言模型在核心领域中的效果，并提出了三种不同的对抗策略并评估模型性能，结果发现模型效果被显著降低，通过使用对抗性样本可以显著提高模型性能和鲁棒性的实验，并希望该实验能够激 - WWWPOLAR 框架：极性相反促进预训练词嵌入可解释性
采用语义差异的方法给预训练的词嵌入加上可解释性，构建了 POLAR 框架，可以从极性反义词之间的比例上见识到单个词的语义，该框架通过选择最有区分力的维度在保持性能的同时达到了词嵌入的可解释性。
- EMNLP通过信息瓶颈专门化单词嵌入（用于解析）
提出了一种 VIB 方法，将预训练的词嵌入非线性压缩，只保留帮助判别式解析器的信息，在离散或连续向量上进行压缩，可以实现更准确的解析。
- ICLR自然语言处理任务中的迁移学习监督上下文嵌入
本文关注于从多个预训练的监督模型中提取表示，以丰富单词嵌入具有任务和领域特定的知识，实验表明这样的监督嵌入对于低资源情况有所帮助，但对于任务和领域的性质不同的扩展程度不同，而我们公开了我们的代码。
- ICLR无需训练：探究用随机编码器进行句子分类
探索从预训练的单词嵌入中计算句子表示的各种方法，无需任何训练，即仅使用随机参数化。结果表明，现代句子嵌入相比随机方法提高很少；我们还对句子分类评估适当实验协议进行了重要观察，并提出了未来研究的建议。
- NIPS面向目标对话系统的灵活可扩展状态追踪框架
本研究提出一种新的 Goal-oriented dialogue systems 框架，其中的 dialogue state tracker 可适用于 multiple domains，且不需要特定领域的先验知识，预训练的词嵌入技术有助于提 - 无需参数的正交基句子嵌入
提出一种基于 Gram-Schmidt Process 的正交基的 non-parameterized 方法，用于将预训练的 word embeddings 组合成句子表示，此方法在 11 个下游 NLP 任务中表现优越。
- EMNLP使用子词袋来泛化字嵌入
本文提出了一种基于子词级别的词向量生成模型来解决传统词向量模型无法应对未登录词、破音字等问题，并在英文词汇相似性任务和 23 种语言的词性标注和变形属性的联合预测任务中实现了最优表现。
- SHOMA 在 Parseme 共享任务中的自动识别多词表达式：具有高泛化性的神经多词表达式标注
本文提出了一种与语言无关的深度学习架构，专门用于多词表达式 (MWE) 的识别任务，采用了卷积和循环层的神经网络架构，顶部可选的 CRF 层，使用预训练的维基百科词嵌入，并在自动识别动词 MWEs 方面表现优异，在开放和封闭轨迹的所有语言中 - EMNLP基于门控循环神经网络和胶囊网络的隐式情感识别方法 ——Sentylic 在 IEST 2018 中的表现
本文介绍了我们在 Implicit WASSA 2018 的情感预测比赛中所用的系统，使用了 GRU 和 Capsule Network 的模型，并利用预训练的词嵌入来将上下文信息引入模型，最终取得了 0.692 的 F1 评分。
- EMNLP预训练词向量、字符模型和词性标注在依存句法分析中的相互作用研究
本文通过对预训练词向量、字符模型和 POS 标签在基于转移的依赖分析器中的相互作用进行综合分析，认为它们之间存在复杂的相互作用，并且在分别应用它们时，均较使用随机初始化的词向量的基线系统都有了大幅度的改进，但组合它们很快就会显得变得没有预期 - EMNLP减少辱骂语言检测中的性别偏见
本文研究滥用语言检测模型的偏见问题，通过使用不同的滥用语言数据集和预训练词嵌入和模型架构，分析性别偏见并尝试了三种减轻 偏见的方法：去偏向词嵌入、性别交换数据扩充以及使用更大的语料库进行微调。这些方法有效的降低了性别偏见 90-98%，并且 - ACL预训练词嵌入何时、为何对神经机器翻译有用？
本研究分析了预训练词向量在低资源场景下神经机器翻译性能提升方面的作用，通过五组实验结果表明，在某些情况下词向量的使用可以使翻译结果达到最高 20 个 BLEU 分数的提升。
- EMNLP通过子词参数重建词向量嵌入
该研究提出了在子词素水平上进行操作以从预先训练的词嵌入中受益的方法，并报告了在词相似性、词类别标注等任务上的有趣结果。
- EMNLP序列标注任务中深度 LSTM 网络的最优超参数
通过评估超过 50,000 种不同的设置，我们发现网络设计选择和超参数对五个常见的语言序列标记任务，即 POS、块状、NER、实体识别和事件检测有显着影响，尤其是预先训练的词嵌入或者网路的最后一层。对于 LSTM 层数或循环单元的数量等其他