contextual word embeddings | BriefGPT

关键词contextual word embeddings

搜索结果 - 10

ACL利用对比学习提高基于令牌的上下文表示的效果：注入维基词典
我们调查了如何通过英语 Wiktionary 作为替代监督源来注入词汇，并测试了降维对生成的上下文词嵌入的影响。通过在无监督设置下（不使用训练集），我们在 Word-In-Context（WiC）任务中取得了新的 SoTA 结果，并提出了两
PDF5 months ago
通过逐层维度选择从预训练语言模型中解析单词语义
该论文使用二进制掩码对预训练模型中不同层的输出进行切割，以解离 BERT 中的语义意义，而不更新预训练参数，从而产生解离的嵌入表示。使用二进制分类验证解离的嵌入的效果，判断两个不同句子中目标词的含义是否相同。实验结果表明，利用层次信息是有效
PDF9 months ago
使用大型语言模型控制说话风格以实现表情丰富的 TTS
本研究旨在使用生成型语言模型与 TTS 模型，提供合适的发音特征，以更好地表达不同的说话风格和对话语境，从而提升语音合成的表现。
PDFa year ago
ACL利用上下文嵌入模型获得更好的静态词嵌入
本研究提出使用基于 CBOW 的训练方法进行文本嵌入的知识蒸馏，可以有效地提高自然语言处理应用程序的计算效率，同时优于从头开始训练的静态嵌入和以前提出的方法提炼的嵌入。此外，该方法还可以通过标准词汇评估任务公平比较上下文和静态嵌入。
PDF3 years ago
ACL使用未标记的数据进行视图蒸馏以从用户生成的数据中提取药物不良反应
本研究开发了一种基于多层 transformers 的算法，用于在社交媒体数据中识别 Adverse Drug Reactions（ADR）。实验结果表明，本算法显著优于采用预训练领域特定数据的基于 transformers 的模型。
PDF3 years ago
自然语言理解中的少样本槽标记的向量投影网络
本文提出了一种基于向量投影网络的少样本检测方法，利用上下文词嵌入在每个目标标签向量上的投影作为单词 - 标签相似性，实现了一种等效的标准化线性模型方法。实验证明，该方法可以明显超越其他变量，在 SNIPS 和 NER 测试集的 5 个样本设
PDF4 years ago
ACL窥探邻居：针对上下文嵌入的细粒度探测，用于获取周围词语的信息
通过引入一系列探测任务，对比测试了 BERT、ELMo 和 GPT 等语境编码器对于上下文信息的编码能力，发现每种信息类型确实都是以上下文信息的形式编码的，但是不同的编码器在分配特征到哪些标记上、特征分配的细度、特征编码的鲁棒性等方面存在差
PDF4 years ago
EMNLP使用上下文嵌入进行对抗学习，实现零资源跨语言分类和命名实体识别
通过对抗性学习提高多语言 BERT 的无资源跨语言性能，并通过多语言 MLDoc 文本分类和 CoNLL 2002/2003 命名实体识别任务来证明这一改进。此外，我们证明语言对抗性训练鼓励 BERT 对齐英文文档及其翻译，并解释了观察到的
PDF5 years ago
对话状态跟踪：一种神经阅读理解方法
本研究通过利用注意力机制为基础的神经网络，将对话状态跟踪任务转化为阅读理解问答，利用上下文意义理解对话中不同语境中槽位词语的指代，通过利用上下文单词嵌入的最新进展，并将方法与传统的联合状态跟踪方法相结合，得到了比当前最新技术提高 11.75
PDF5 years ago
ACL一种基于双向式文本到语音模型的新闻播报员声音合成方法，可适用于有限数据
本文提出了一种用于合成新闻播报风格的少量数据语音合成模型，它不仅使用了目标风格的韵律变化，而且在上下文中使用词嵌入进行条件约束，与中立 NTTS 和基于连接的中立合成相比，这个模型缩小了新闻播报风格语音与中立语音合成之间感知的风格适宜性差距
PDF5 years ago