nlp models | BriefGPT - AI 论文速递

关键词nlp models

搜索结果 - 196

多语言视觉推理中缺少的内容及其修复方法
NLP 模型通过在视觉推理任务上的测试，评估了多语言、多模态方面的能力。通过分析模型的失败，提出了三个针对性干预措施，包括翻译 - 测试方法、视觉编程方法和利用图像字幕处理多模态问题。这些干预措施在零 - shot 设置下提高了 open
PDF4 months ago
贪婪是所需之物：Tokenizer 推理方法的评估
通过对七种解码方法在四种不同算法和三个词汇量上的实验进行受控分析，我们提供了一个用于英语的新型内在评估套件，结合了与形态、认知和信息论相关的度量标准，结果显示在常用的分词器中，贪婪解码方法表现出乎意料的好，最近推出的上下文感知分词器 SaG
PDF4 months ago
超越仇恨言论：自然语言处理在揭示贬损语言中的挑战与机遇
评估了 GPT-4、GPT-3.5 和 LLAMA-2 等先进的自然语言处理模型在检测贬低人性用语方面的性能表现，发现它们能够以 70% 的准确率区分贬低人性用语和更广泛的仇恨言论，但也存在偏见，并且在识别其他目标群体的明显贬低人性案例上经
PDF4 months ago
ZeroG: 探索图中的跨数据集零样本迁移性
通过引入 ZeroG，一种新的框架，我们扩展了这种零样本迁移学习范式到图领域，以实现数据集间的泛化，减少特征不对齐、标签空间不匹配和负迁移等固有挑战，并通过使用语言模型对节点属性和类别语义进行编码，以确保数据集间的一致特征维度，并通过基于提
PDF5 months ago
ACLGUMsley：对 12 种英语流派中摘要的实体显著性评估
该研究通过提供具有显著性的实体来改善摘要生成中的实体幻觉问题，并评估了预训练的最先进的摘要模型和零 - shot LLM 提示对于捕捉生成摘要中显著实体的能力。
PDF5 months ago
词汇重要性对机器翻译模型盗用的影响
通过收集输出，攻击者可以提取受害者的词汇表，而词汇本身对本地模型的性能影响不大。这对于黑盒知识蒸馏来说具有重要意义。
PDF5 months ago
Catwalk: 一个统一的语言模型评估框架
Catwalk 是一个解决大规模自然语言处理模型评估和对比的工程挑战的统一接口，它能简化构建数据集和模型的过程，并提供易于扩展的抽象层，使得在大规模环境下进行有控制的实验变得更加容易。
PDF7 months ago
借助大语言模型生成忠实的以人为基础的对话数据集
通过建立 Generator-Critic 架构，使用 LLM 生成会话，借助 Synthetic-Persona-Chat 评估了高质量对话数据集对 NLP 模型的影响。
PDF7 months ago
TaCo：基于信息论和可解释性的自然语言处理中的目标概念删除
通过嵌入变换消除 NLP 模型中的隐性信息以减少性别相关联系，同时保留模型的整体性能和功能。
PDF7 months ago
Pachinko: 通过自然语言反馈修补可解释的问答模型
通过分析问答模型生成的基于背景和问题的中间解释，我们研究了解不同形式的解释对用户修正和理解模型输出的影响，并通过用户研究证明了解释格式在用户反馈和模型执行反馈方面的重要性。
PDF8 months ago
利用反事实情况测量和改善对部分输入的专注力
数据集中的伪相关性对于 NLP 模型在未见数据上的泛化性造成了影响。我们提出了一种新的评估方法，Counterfactual Attentiveness Test (CAT)，通过使用反事实推理来检测模型的注视变化。 CAT 的结果显示，对
PDF8 months ago
临床放射肿瘤学中的自然语言处理技术和框架简介
该研究回顾了现代自然语言处理模型的关键技术创新，并介绍了在放射肿瘤学研究中使用大型语言模型的最新应用，同时提出了一种全面的框架来评估 NLP 模型以便在临床应用前进行严格的评估和验证。
PDF8 months ago
乳腺癌标本报告的分层分类系统（HCSBC）-- 一种用于评估严重程度和诊断的端到端模型
癌症病理报告的自动分类可以从非结构化报告中提取信息，并将每个报告分类到结构化的诊断和严重程度类别中。我们开发了一种基于分层混合变压器的分类系统用于乳腺癌标本报告，并比较了我们的模型与其他几种最先进的机器学习和深度学习模型。
PDF8 months ago
EMNLP人类的编辑更好：评估 LLM 生成的反事实扩充数据对有害语言检测的有效性
NLP 模型在社交计算的各种重要任务中被使用，例如检测性别歧视、种族歧视或其他憎恨内容。因此，这些模型对于虚假特征的稳健性至关重要。过去的研究尝试使用训练数据增强来解决这些虚假特征问题，包括 Counterfactually Augment
PDF8 months ago
EMNLP解释是否是解决方案？短期和长期中的错误信息缓解
本研究比较了使用警告标签和由 GPT-4 生成的最新对抗解释来揭穿虚假信息的效果，结果表明这两种干预方法在短期和长期内都能显著减少参与者对虚假主张的自我报告信任，进一步讨论了这些发现的意义和未来基于自然语言处理的虚假信息揭穿策略的发展方向。
PDF8 months ago
评估结果的有效性：评估组成性基准测试的一致性
近年来，NLP 模型取得了巨大的进展，尤其是通过这方面的大量数据集进行性能评估。然而，有关特定数据集设计选择可能如何影响我们对模型能力的结论仍存在问题。本研究在组合泛化领域调查了六种建模方法在 4 个数据集上的表现，这些数据集根据 8 种组
PDF8 months ago
EMNLP增强注意力的背门攻击对基于 BERT 模型的影响
通过直接操纵注意力模式，我们提出了一种新颖的特洛伊注意力损失（TAL），以增强特洛伊行为，并提高攻击成功率和污染率，不仅适用于传统的脏标签攻击，还适用于更具挑战性的干净标签攻击。
PDF8 months ago
ACL自然语言处理模型面临嘈杂输入的有限环境索引化
FiRo 是一种提高 NLP 模型性能的方法，可以清洗输入文本中的字符级噪声，同时保留其内容的真实性。实验结果表明，使用 FiRo 的 NLP 模型在不同程度的噪声下在六个分类任务和一个序列标记任务上优于基准模型。
PDF8 months ago
EMNLP自然语言处理中语言类型数据库的过去、现在和未来
在发展自然语言处理模型中，特质信息对于低资源语言尤为重要，目前存在的大规模特质数据库在彼此之间和与其他特质信息源（如语言语法）之间存在不一致性，我们通过系统地研究不同特质数据库和资源的不一致性及其在自然语言处理中的用途，旨在为解决这个问题提
PDF8 months ago
可衡量忠诚度的遮蔽语言模型
提议基于掩码方法的一种内在的可靠度可衡量模型，该模型能够解决现有方法受限、计算昂贵且基于代理模型的问题，通过在设计上使掩码令牌成为数据分布内的方式，从而能够更有效地解释和说明 NLP 模型。
PDF9 months ago