pre-trained language models | BriefGPT

关键词pre-trained language models

搜索结果 - 1151

ANGOFA：利用 OFA 嵌入初始化和合成数据的安哥拉语言模型
通过引入四个针对安哥拉语言进行微调的针对预先训练语言模型（PLM）进行定制的 PLM，采用多语言自适应微调（MAFT）方法，本文调查了在下游任务中通过信息嵌入初始化和合成数据来增强 MAFT 模型性能的作用，将基线模型在 SOTA Afro
PDF3 months ago
ACL面向跨文档事件共指消解的因果关联数据增强方法
基于预训练语言模型（PLMs），事件共指消解（ECR）系统通过聚类跨文档的语义指示共指事件展现出了出色的性能；然而，现有系统在输入提及对中展现出对 “触发词词汇匹配” 的过度依赖；我们基于结构因果模型（SCM）对基线 ECR 系统的决策过程
PDF3 months ago
ACL铺设锚点：语言建模中数字的语义启发
通过生成受语料库中数字分布控制的锚点，我们引入了一种在任何语料库中语义化编码数字的策略，从而能够提供这些数字标记的数学基础表示。通过对一系列涉及从 1 到 10 亿的数字的数学任务的评估，我们证明了我们提出的技术的优越性，并展示了我们所学嵌
PDF3 months ago
ACLSGSH: 刺激大型语言模型生成基于知识库的问题的框架启发
提出了 SGSH—— 一种基于骨架启发的框架，旨在通过使用骨架启发来增强 KBQG；通过自动数据构建策略和软提示方法，将骨架启发编码到提示中，以激励 GPT-3.5 生成所需的问题，并在 KBQG 任务上展现了最新的性能。
PDF3 months ago
ACL解剖近义句：预训练语言模型中提示句法和补充信息对知识检索的影响
预训练语言模型可以通过闭式样式提示来推断关系性知识，使用统一的元模板设计的 CONPARE-LAMA 探针表明句子结构在知识检索性能方面具有多种可取的特性，并且领域信息相对于语法形式更可靠地提升知识检索性能。
PDF3 months ago
ACL自回归事件时间图生成的集合对齐框架
通过重新设定为条件集合生成问题并引入数据增强和集合属性规范化，我们提出了一种针对大型语言模型的集合对齐框架，用于生成更多关系边，以解决传统的文本生成目标与图形线性化序列的不符问题，并在事件时态图生成方面超过现有基线。此框架在零样本条件下通过
PDF3 months ago
从健壮性到预训练语言模型的改进泛化和校准
通过 Jacobian 和 Hessian 正则化方法，本研究探讨了提高预训练语言模型 (PLM) 泛化性和不确定性量化的重要性。我们引入了一种新的两阶段正则化方法 JacHess，通过最小化 PLM 中间表示的 Jacobian 和 He
PDF3 months ago
DELTA: 通过结构化词语对齐，预先训练一个判别性编码器用于法律案件检索
在法律案例检索中，利用预训练语言模型的有效性已得到研究证明。然而，现有工作大多侧重于提高上下文嵌入的表示能力，并使用文本语义相似性计算相关性。本研究引入 DELTA，一种针对法律案例检索设计的判别模型，通过将上下文化嵌入与关键事实靠近并远离
PDF3 months ago
引入音节分词技术用于低资源语言：以斯瓦希里语为例研究
我们提出了一种音节分词器，并采用实验为中心的方法验证所提出的分词器在斯瓦希里语中的有效性。我们使用 GPT2 进行文本生成实验，结果证明所提出的音节分词器能够有效地表示斯瓦希里语。
PDF3 months ago
COLING使用预训练语言模型进行粗调用于即席文件检索
本研究介绍了一种中间学习阶段 —— 粗调（coarse-tuning）用于信息检索系统中的细调（fine-tuning）。通过在粗调阶段学习查询表示和查询 - 文档关系，旨在减轻细调负担，提高下游信息检索任务的学习效果。通过提出的查询 -
PDF3 months ago
ACLLinkPrompt：基于提示的语言模型的自然且通用的对抗攻击
LinkPrompt 是一种通过基于梯度的波束搜索算法生成的自然的通用对抗触发器（UATs），能够有效地攻击目标预训练语言模型（PLMs）和基于提示的微调模型（PFMs）并保持触发器标记中的自然性。
PDF3 months ago
ICLRLAMPER: 无监督时间序列分类的语言模型和提示引擎设计
该研究通过 LanguAge Model with Prompt EngineeRing (LAMPER) 框架，系统评估预训练语言模型 (PLMs) 在适应多样化提示及其在零样本时间序列 (TS) 分类中的整合能力。我们使用 UCR 存档
PDF3 months ago
高效级联跳跃解码的自回归文本生成
通过提出一种名为分级跳跃解码（HSD）的新型解码策略，我们可以减少计算工作量和分配计算资源，从而在效率和文本质量之间取得平衡，实验证明 HSD 在文本生成任务中具有优势。
PDF3 months ago
预训练代码智能语言模型的遗传自动提示学习
作为预训练语言模型（PLM）的流行方法之一，为了解决其使用的计算成本过高的问题，我们研究了最近在自然语言处理领域中出现的一种潜在解决方案，即 prompt learning。我们发现现有的自动提示设计方法在代码智能任务中非常有限，无法达到预
PDF4 months ago
ACLRobustSentEmbed: 使用对抗自监督对比学习获得鲁棒的句子嵌入
本文介绍了 RobustSentEmbed，这是一个自监督的句子嵌入框架，旨在改善自然语言处理任务中的泛化能力和对抗性环境中的鲁棒性。通过生成高风险对抗扰动并利用新颖的目标函数，RobustSentEmbed 能够熟练学习高质量且鲁棒的句子
PDF4 months ago
用根据和结构的因果问答提升事件因果性鉴定
提出了一种多任务学习框架，通过因果性问题回答和事件结构图，增强了文档级事件因果性识别，并通过生成理由和结构感知的因果性问答来解释具有因果关系的事件。
PDF4 months ago
预训练语言模型对某些地理人群的表现优于其他人群
本研究使用空间探测任务和地理参考文献，评估了 OPT 和 BLOOM 系列预训练语言模型在代表全球不同人口群体方面的偏见程度。结果显示，这些模型在某些人口群体中表现得更好，而在南亚和东南亚等地的人口群体中则表现较差。分析结果显示，这种偏见不
PDF4 months ago
EMNLPCDGP: 基于预训练语言模型的自动填空干扰项生成
本文通过探索预训练语言模型（PLMs）的应用作为备选项干扰项生成的替代方案，研究了填空干扰项的自动生成。实验证明，PLM 增强模型显著提高了性能，最佳模型使得 NDCG@10 得分从 14.94 提升至 34.17。我们的代码和数据集可在此
PDF4 months ago
COLING小心提示偏见！研究和缓解事实知识提取中的提示偏见
该研究量化了各种类型提示的偏差，并评估了其对不同基准测试的影响。通过提出一种基于表示的方法来缓解提示偏差，研究发现该方法不仅可以纠正由提示偏差引起的过拟合性能，还可以显著提高提示检索能力。
PDF4 months ago
基于预训练语言模型的精确无侦测场景文本定位
本研究提出了一种场景文本检测器，利用预训练语言模型来增强性能，通过简单的文本块检测器获得粗略的定位信息，并通过大规模 OCR 数据集微调语言模型以实现准确识别，实验证明本场景文本检测器在多个公开基准上表现优越，同时展示了预训练语言模型在整个
PDF4 months ago