large pre-trained language models | BriefGPT

关键词large pre-trained language models

搜索结果 - 12

GECOBench: 一个用于评估解释中偏见量化的性别控制文本数据集和基准
此研究探讨了大型预训练语言模型的可解释性人工智能技术及其对性别偏见的影响，并创建了一个性别控制文本数据集，通过对预训练模型的不同微调程度进行 XAI 方法的评估，展示了解释性能与微调层数之间的关系。
PDF15 days ago
发现差距：面向视觉问答的知识库推理
我们分析了基于知识的视觉问答，研究问题是：1）我们能通过显式有监督检索相关知识解决知识库 - 视觉问答问题吗？2）任务特定模型和预训练语言模型在视觉和外部知识的整合以及多跳推理方面的表现如何？3）预训练语言模型的隐式知识足够用于知识库 -
PDF3 months ago
混合聊天机器人中的控制
客户数据通常保存在数据库系统中，这些系统可以看作是基于规则的知识库，而企业越来越希望从大型预训练语言模型的能力中受益。本技术报告中，我们描述了一个商业规则引擎和一个集成的神经聊天机器人的案例研究，以及这种特定集成模式所带来的控制级别。我们还
PDF7 months ago
大型语言模型与人类在带有脚本知识的因果推理中有相似的行为吗？
最近，大规模预训练语言模型（LLM）展示了卓越的语言理解能力，包括零示例因果推理。然而，目前尚不清楚它们的能力在多大程度上与人类相似。本文研究了一个基于脚本故事中事件 $B$ 的处理，该事件的因果关系依赖于前一个事件 $A$。通过自行阅读实
PDF8 months ago
EMNLP代码合成的自动生成单元测试数据与演员 - 评论者强化学习
自动获取适用于代码合成模型的强化学习训练数据，结合简单而有效的演员 - 评论家强化学习训练方案，提高预训练代码语言模型的性能。
PDF8 months ago
增强 LLMs 与知识：关于幻觉防止的调查
将预训练语言模型与外部知识源相结合，可以增强其上下文处理能力，克服传统语言模型的问题，如错觉、无依据的回答和可拓展性挑战。
PDF9 months ago
模糊指纹变换语言模型在对话情绪识别中的应用
本论文将 Fuzzy Fingerprints 与 RoBERTa 相结合，在 Emotion Recognition in Conversations（ERC）任务中获得了最先进的结果，并提供了更简单和可解释性更强的 Large Lang
PDF10 months ago
ACL朝向交互式口述
语音输入越来越重要。我们研究了允许用户使用开放式自然语言中断他们的语音输入以实现编辑的可行性。我们引入了一个新的任务和数据集，TERTiUS，来实验这样的系统。通过使用大型预训练语言模型预测编辑后的文本或预测一个小型文本编辑程序，我们展示了
PDFa year ago
CancerGPT: 利用大型预训练语言模型进行少样本药物配对协同作用预测
本研究利用大型预训练语言模型进行无多样本协同抗癌药物研究，其中提出了 CancerGPT 模型，并取得了较好的实验效果，该模型对于生物反应预测任务具有应用潜力。
PDFa year ago
将源代码预训练语言模型扩展至汇编代码反编译摘要
本文研究了利用大型预先训练的源代码模型来对反编译二进制文件的函数进行自动摘要，建立了一个包含多种编译器优化的数据集 CAPYBARA，进一步生成了合成数据集来优化模型性能，并创造了 BinT5 模型，成功地用于反汇编二进制代码中。
PDFa year ago
大型预训练语言模型中英语动词类别和交替理解的探究
本研究通过选择性构建的诊断分类器，对 Bert、Roberta、Electra 和 DeBERTa 等大型预训练语言模型的嵌入进行了研究。研究发现，PLM 的上下文嵌入不仅在单词和句子级别上优于非上下文嵌入，而且在大多数替换类别的任务中实现
PDF2 years ago
ACLBERTese: 学习向 BERT 交流
本研究提出了一种自动将查询重写成 “BERTese” 的方法，该方法是直接针对更好的知识提取进行优化的，相比之前的方法表现更好，避免了复杂的流程，同时也提供了一些关于有助于语言模型进行知识提取的语言类型的见解。
PDF3 years ago