contextualized representation | BriefGPT

关键词contextualized representation

搜索结果 - 9

只需复制
本文提出了一种基于复制粘贴机制的文本生成方法，在已有文本集合中逐步复制文本片段并根据其中的上下文信息进行索引，实现了更好的自然语言生成质量和推理效率，并可在领域适应和扩展时不需重新训练模型。
PDFa year ago
面向关系型数据库的基础模型 [视角论文]
本研究介绍一种针对关系数据库的关系表达学习方法，该方法不仅可以从完整的关系结构中学习，而且可以扩展到在现实世界中普遍存在的大型数据库规模，并为今天仅适用于文本和图像的关系数据库建立基础模型。
PDFa year ago
面向上下文语言表示的对抗训练
从预训练语言模型的角度调查对抗训练，提出了一种新的 extit {Contextualized representation-Adversarial Training} (CreAT) 方法来全局优化对抗样例，显著提高性能表现，并让它们对超
PDFa year ago
AAAI基于真实负例的语言模型预训练
本文提出基于传统预训练方法的修改方法，以期纠正自动构建样本时可能带来的误伤学习，增强了预训练过程对于真实负样本的学习，实验结果显示该方法可以提高预训练语言模型的性能并增强其健壮性。
PDF2 years ago
多模式学习基于注意力机制的知识图谱关系预测
本文提出了一种基于注意力机制、利用传递路径信息和局部语义的多模式嵌入模型（ÆMP），用于学习知识图谱中实体和关系的语境化表示，并在多个知识图谱基准上获得了大幅度的预测性能提升。
PDF2 years ago
一个简单且统一的标记模型，带有引导作用，用于关系结构预测
通过使用 Tagging 模型，对预先训练好的语言模型的输入序列增加预处理，从而提高关联结构提取的精度，并在多语言数据集上进行了广泛的实验及分析，并提出了一种快速且准确的近似方法
PDF2 years ago
利用多语言 Transformer 使用伪标签增强多语言和代码混合的复杂命名实体识别 —— 在 SemEval-2022 任务 11 中的 UM6P-CS 模型
使用多语言 Transformer XLM-RoBERTa 的上下文化表示来处理多语言和混合编码查询的复杂 NER 任务，通过 CRF 的标记分类层和拾取来捕获命名实体范围和使用自我培训机制从大型未标记数据集生成弱标注数据。在 Multil
PDF2 years ago
ACLVAULT: 机器阅读理解的可变统一长文本表示
本论文提出了一种基于上下文表示的轻量且并行高效的 MRC 段落表示方法 VAULT，通过使用一种新的基于高斯分布的目标函数训练模型，其关注部分正确的实例的方法，从而克服了现有模型需要复杂模型架构的瓶颈，实验结果表明 VAULT 在处理长文本
PDF3 years ago
ACLThe Boating Store Had Its Best Sail Ever”: 重读音敏感的情境化双关语识别
本文提出了 Pronunciation-attentive Contextualized Pun Recognition（PCPR）模型，该模型通过捕捉相关语境与其对应音标符号之间的关联性来感知人类幽默，检测句子中是否包含双关语并定位它们。
PDF4 years ago