bert embeddings | BriefGPT - AI 论文速递

关键词bert embeddings

搜索结果 - 19

历史是生活的导师：利用神经嵌入进行古罗马文学的动态主题建模
使用 BERT 嵌入实现的动态主题模型与传统的统计模型（LDA 和 NMF）进行比较，模型主题遍布整个罗马文学存档，定量评估偏向统计模型，而定性评估对神经模型有更好的洞察力，此外，神经主题模型对超参数配置不敏感，使动态主题建模对历史研究人员
PDF5 days ago
通过奖励塑造技术增强多跳知识图推理
利用强化学习和 BERT 嵌入来改进多跳知识图谱推理的方法，以提高知识图谱推理的准确性和鲁棒性。
PDF4 months ago
WWW自动化半结构化面试记录中的信息提取
该研究论文探讨了一种自动化系统的开发和应用，该系统旨在从半结构化访谈文本中提取信息。研究发现，对于分析访谈文本，最佳模型是 BERT 嵌入和 HDBSCAN 聚类的组合。论文介绍了一个用户友好的软件原型，使研究人员能够高效处理和可视化访谈数
PDF4 months ago
使用韵律和语言特征探究基于内容感知的神经文本语音合成 MOS 预测
该研究探讨了将韵律和语言特征作为 MOS 预测系统的附加输入的影响，发现包含 Tacotron 编码器输出和 BERT 嵌入等高级语言输入显著提高了句子和系统层面的预测准确度。
PDF2 years ago
探寻嵌入的纹理：探讨嵌入的构造
通过引入噪音亚百特信息编码的向量空间，使用探测框架扩展方法，研究了 GloVe 和 BERT 嵌入中向量范数如何编码不同种类的信息，发现 GloVe 在向量范数中存储了句法和句子长度信息，而 BERT 则将其用于编码上下文不连贯信息。
PDF2 years ago
ACL神经主题建模优于聚类吗？基于语境嵌入的聚类主题实证研究
本文研究利用高质量的句子表示和适当的词选择方法直接聚类句子表示的方法来生成更连贯和多样化的主题，相比于利用神经模型的方法有更高的效率和简洁性。
PDF2 years ago
面向端到端语音意图系统中细化语音到 BERT 对齐的逐令牌对比学习预训练
通过交叉语境关注机制，引入了一种简单而新颖的技术，该技术用于从语音编码器中提取上下文嵌入，使得这些嵌入可以与基于 BERT 的上下文嵌入直接比较和对齐。使用类比对损失对这种预训练模型进行微调，直接使用语音进行意图识别可以达到最先进的性能，并
PDF2 years ago
使用多任务学习和 BERT 嵌入进行极性和主观性检测
本文提出了一种基于深度多任务学习的架构，通过使用预训练的 BERT 和 Glove 词向量嵌入，采用基于注意力机制的多任务模型，实现了情感极性和主观性检测，并且与先前的单任务和多任务模型进行了比较，提高了基准性能。
PDF2 years ago
手语视频字幕对齐
提出一种用于对手语视频中的异步字幕进行时间对齐的 Transformer 体系结构，使用 BERT 字幕嵌入和 CNN 视频表示来对两个信号进行编码，并通过一系列的注意层进行交互，输出逐帧预测，从而大幅改善了现有的对齐基线。
PDF3 years ago
EMNLP二值化稀疏表示实现高效文本检索的超高维度方法
本文提出了一种超高维度的表示方案，结合了符号和潜在形式的稀疏表示和神经模型的密集表示，具有直接可控的稀疏度，可以用于高效存储和搜索，并且在 MS MARCO 和 TREC CAR 数据集上得到了比其他稀疏模型更好的性能。
PDF3 years ago
ACL社交媒体辅助危机管理中有监督分类和无监督主题建模之间的桥梁
采用 BERT 嵌入并进行微调可以适应新危机，发现新主题，并从受监督训练中保留相关类别，利用双向自注意力提取主题关键词。其在人工和自动评估中胜过传统主题模型。
PDF3 years ago
利用跨句 BERT Embeddings 改进韵律建模实现端到端语音合成
提出了一种使用上下文信息和 BERT 嵌入的文本表征来在端到端的方式中进行语调生成，实验表明这种方法可以显著提高合成语音的自然度和表现力，并可以通过更改相邻的句子间接地控制语调。
PDF4 years ago
COLING自由化复数：不受限制的分裂先行语回指的解析
该论文介绍了第一个用于无限制解决 split-antecedent anaphors 的模型，使用 BERT 嵌入及辅助语料库进行了实验，并在金准 ARRAU 语料库上取得了显著的性能提升。
PDF4 years ago
CheckThat! 2020: 基于 Transformer 和句法特征融合的社交媒体辩称检测
本论文针对应对现代数字化新闻中的假新闻传播问题，提出了两个解决方案，即利用 Bert 嵌入以及句子 transformer 进行需要核实性预测，以及利用 Siamese 网络 transformer 进行语义文本相似度匹配进行信息检索。
PDF4 years ago
使用 BERT 和侧边信息进行远程监督神经关系提取
使用 Bert 嵌入简化句子编码来提升知识库辅助的关系抽取模型，可以在谷歌远程监督和 Riedel 数据集上优于传统方法，尤其是 P@N 结果表明 BERT 作为句子编码的使用可以优化结果。
PDF4 years ago
利用语境嵌入检测历时语义转移
本文提出了一种新的方法，通过从 BERT 嵌入生成特定时间的单词表示来利用上下文嵌入进行历时语义变化检测。我们的实验结果表明，该方法在特定领域的 LiverpoolFC 语料库中具有与当前最先进技术相当的性能，无需在大型语料库上进行任何耗时
PDF5 years ago
基于 Transformer 预训练的跨度联合实体和关系抽取
本文介绍了一种轻量级的基于注意力机制的模型 SpERT，通过对 BERT 嵌入进行实体识别和过滤，以及基于标记的上下文表示进行关系分类，结合单 BERT 传递的高效负样例抽取方法，在多个数据集上取得了高于先前工作最高达 2.6% F1-sc
PDF5 years ago
ACL跨图银行的组合语义解析
本研究提出了一种基于神经网络的语义解析器，它能够对不同的图数据库实现更高的准确性，并通过结合 BERT 嵌入和多任务学习技术进一步提高其准确度，从而在 DM、PAS、PSD、AMR 2015 和 EDS 等多个任务上取得了最新的最优结果。
PDF5 years ago
ACL像婴儿一样：视觉背景下的神经语言习得
通过实验证明了在多模态环境中进行语言学习可以提高预测准确率，该研究使用了预训练的 BERT 嵌入以及不同语言和模型进行了测试，并得出了这个认识与身处环境相应认知理论相对应的结论。
PDF6 years ago