pre-trained language models | BriefGPT

关键词pre-trained language models

搜索结果 - 1148

捕捉变色龙：检测使用大型语言模型生成的不断演变的虚假信息
探测不断演化的大型语言模型生成的虚假信息的研究问题，通过预训练语言模型的普遍事实核查能力和各种大型语言模型的独立虚假信息生成特征，提出一种参数高效的方法 DELD，通过序列连接模型的学习特征以促进知识积累和转换，并通过与可训练的软提示结合，
PDF4 days ago
找出父级，然后标记子级：使用预训练语言模型的两阶段分类法完成方法
本文提出了名为 ATTEMPT 的两阶段方法，通过找到父节点并标记子节点的方式，将新概念插入正确的位置。利用预训练的语言模型进行上下位关系识别，通过合并本地节点和提示生成自然语句。实验结果表明，ATTEMPT 在分类系统补全和扩展任务上表现
PDF5 days ago
评估心理健康问答分类基础模型的有效性
这项研究评估了基础模型在心理健康护理问题和回答分类中的效果，并发现预训练语言模型（PLMs）在捕捉语义意义方面具有非常好的结果，对于阿拉伯语的心理健康支持具有很大的潜力。
PDF7 days ago
TemPrompt: 基于 RAG 的众包系统中的多任务提示学习用于时间关系抽取
基于预训练语言模型的多任务提示学习框架（TemPrompt）结合了提示调整和对比学习来解决事件的演变以及任务请求的问题，实验结果表明在标准和少样本情况下，TemPrompt 在多个指标下优于其他基准模型，并通过案例研究验证了在众包场景中的有
PDF9 days ago
基于灵活演示检索器的数学问题知识标记系统
知识标记对于当代智能教育应用具有关键作用，本文探索采用大型语言模型（LLMs）自动化该任务，展示了 LLMs 在数学问题知识标记任务上零次和少次检测结果的强大性能，并通过提出基于强化学习的示范检索器，成功利用不同规模的 LLMs 实现更优异
PDF11 days ago
ACL基于语言模型权重演化的知识融合
本研究提出了一种名为 Evolver 的知识融合方法，它可以将不同语言模型的权重进行集成，通过进化算法生成新的模型并与父模型进行评估，达到在不同数据领域通用且性能优越的目的，这种方法与现有模型合并框架无缝集成，为模型增强提供了一种多功能工具
PDF12 days ago
用随机性对抗随机性：使用延迟集成和噪声插值减轻微调的优化不稳定性
利用集成、噪音正则化和模型插值技术，我们提出了一种名为 DENI（Delayed Ensemble with Noisy Interpolation）的新型缓解策略，它既具备高效计算的特点，又能有效克服细调整中的不稳定性问题。通过在 3 种
PDF12 days ago
PromptDSI：基于提示的无需复习的逐实例增量学习用于文档检索
PromptDSI 是一种无需重复训练的、基于提示的增量学习方法，使用冻结的 PLM 编码器，并利用其强大的表示能力来高效地索引新的文集，同时维持稳定性和适应性的平衡。该方法通过消除基于提示的持续学习方法的初始前向传播来减少训练和推理时间，
PDF12 days ago
FuseGen: 基于数据生成的零样本学习的 PLM 融合
基于数据生成的零样本学习通过由预训练语言模型生成的合成数据集对小任务特定模型进行训练，虽然有效果，但往往受到合成数据集质量低的限制。本文提出了 FuseGen，一种基于数据生成的零样本学习框架，通过利用多个预训练语言模型和训练过的小任务特定
PDF12 days ago
文本摘要的系统调查：从统计方法到大型语言模型
通过深度神经网络、预训练语言模型和最新的大型语言模型的出现，文本摘要研究经历了几次重大转型，本文综述通过这些范式转变的视角全面回顾了文本摘要研究的进展和演变，分为两个主要部分：(1) 在大型语言模型时代之前的数据集、评估指标和摘要方法的详细
PDF13 days ago
RoseLoRA: 面向知识编辑和微调的稀疏低秩预训练语言模型的行列稀疏低秩适应
我们提出了一种新颖的 PEFT 方法，名为 RoseLoRA，该方法通过行列稀疏的低秩自适应来识别和更新特定任务中最重要的参数，从而在保持效率的同时保留其他模型的知识。
PDF14 days ago
COOL：全面的知识增强提示学习用于领域自适应小样本假新闻检测
通过综合的知识增强推理学习方法（COOL），我们提出了一种适用于领域自适应少样本 fake news detection 的方法，该方法通过从外部来源提取结构化和非结构化知识，并采用对抗性对比增强的混合推理学习策略来建模领域不变的新闻 -
PDF14 days ago
专注关注：面向领域通用的提示优化方法，用于语言模型
我们提供了一个名为 “Concentration” 的面向领域通用的提示优化目标，它通过增加注意力强度并减少注意力分布的波动，从而改善了多源领域通用设置中软提示和硬提示通用性优化方法的准确性，同时保持了满意的领域内性能。
PDF15 days ago
恶魔在神经元中：解释和减轻预训练语言模型中的社会偏见
该论文提出了 "社会偏见神经元" 的概念，并介绍了一种能够精确定位和抑制与社会偏见相关的单元的方法，从而降低预训练语言模型中的社会偏见。该方法通过使用情感提示词激发与特定情感相关的敏感词和人口统计数据，通过测量其产生的偏差来定位并抑制造成不
PDF16 days ago
基于预训练语言模型的样本高效主动学习自训练
使用半监督的方法（self-training）从未标记的数据中获取伪标签来改善运用主动学习进行文本分类的效率，通过进行广泛的实验，提出了一种新的有效的 self-training 策略（HAST），并在四个文本分类基准数据集上进行了评估，仅
PDF17 days ago
ACL利用动量对比学习的标签感知负样本采样策略在隐性仇恨言论检测中的应用
通过使用 Label-aware Hard Negative (LAHN) 采样策略以及动量集成对比学习，本研究提出的模型能够有效检测隐式仇恨言论，并在内部数据集和交叉数据集中优于现有模型。
PDF18 days ago
多提示解码器有助于更好的语言理解
提出了一种用于适应 Model-as-a-Service 预训练语言模型的多提示解码器（MPD）框架，在少数据情况下通过多个不同的提示查询语言模型，从而提高了解码的质量和数据的利用率，实验结果表明在多个自然语言理解数据集上取得了最新的最好效
PDF20 days ago
ACL条件信息流最大化的表示学习
本论文提出了一个名为条件信息流最大化的信息论表示学习框架，用于提取输入数据和目标任务的噪声不变的充分表示。该方法通过最大化输入 - 表示和表示 - 标签互信息，同时促进学习到的表示具有较好的特征一致性和充分的预测能力，从而增强了预训练语言模
PDF22 days ago
ACLPromptFix: 通过对抗性提示调整进行少样本后门移除
通过对软标记以及对抗优化的使用，提出一种名为 PromptFix 的新型反后门策略，适用于自然语言处理模型中的少样本情景，并通过各种后门攻击实验证实了该方法的有效性以及在存在领域转移时的性能。
PDF24 days ago
基于 RAG 的众包任务分解通过带提示的掩码对比学习
通过引入基于提示的对比学习，我们提出了一种用于任务分解的检测框架，能够有效地区分不同事件类型，并在多个领域中具有竞争力的性能。
PDFa month ago