nlp models | BriefGPT - AI 论文速递

关键词nlp models

搜索结果 - 195

用大型经验研究代替人类法官？跨 20 个 NLP 评估任务
评估 NLP 模型时，使用 LLM-generated 判断取而代之人为判断的趋势日益增长。我们提供了一个由人工注释的 20 个 NLP 数据集的 JUDGE-BENCH，并对 11 个当前的 LLM 进行全面评估，涵盖公开权重和专有模型，
PDF6 days ago
通过减少人口统计术语的影响来提升常识偏见分类
通过层次概括、基于阈值的增强和层次概括与阈值增强方法相结合等三种方法，提高了常识极化分类器的性能和效果，减轻了人口统计术语对 NLP 模型性能的影响。
PDF21 days ago
ACLPromptFix: 通过对抗性提示调整进行少样本后门移除
通过对软标记以及对抗优化的使用，提出一种名为 PromptFix 的新型反后门策略，适用于自然语言处理模型中的少样本情景，并通过各种后门攻击实验证实了该方法的有效性以及在存在领域转移时的性能。
PDFa month ago
NAP^2：从人类学习的自然性和隐私保护文本重写基准
通过删除敏感表达和抽象敏感细节，我们使用两种常见的人类策略对敏感文本进行了清理，以保护隐私，并开发了一个文本重写的工具，展示了更自然的重写结果和隐私保护与数据效用之间的平衡。
PDFa month ago
基于提示和微调的 LLM 与因果图验证
该研究旨在利用自然语言处理技术通过文本来源对因果图进行自动验证。与之前的研究成果相比，该研究发现经过精调的预训练语言模型在因果关系分类任务上表现远超基于提示的语言模型，F1 得分最高提高了 20.5 个百分点。
PDFa month ago
ACLSEEP: 培训动力为减轻后门污染攻击而进行潜在表示搜索
通过利用训练动态识别有毒样本并进行标签传播以提高召回率，我们提出了一种新颖的防御机制，有效降低了多种后门攻击的成功率，并保持了对干净测试集高准确度的分类。
PDFa month ago
用于生成和评估逆事实的 LLMs：一项全面研究
NLP 模型生成反事实样本的能力及其对数据增强的影响进行了比较和评估，发现 LLMs 生成流利但改动较大的反事实样本，数据增强效果与人工生成的样本相比有明显差距。此外，LLMs 对偏标签数据的评估表现出明显的偏向性，而 GPT4 对此偏见更
PDF2 months ago
通过检索和转换现有数据集获取更好的合成数据
使用 DataTune 方法，通过数据集转换与细调语言模型，能够改进自动数据集生成，并在各种语言任务中取得了显著的改进。
PDF2 months ago
相关工作和引文生成：一项调研
文献综述、相关工作生成、自然语言处理、NLP 模型、挑战
PDF2 months ago
语义隐身：多种方法对 NLP 的对抗文本攻击
在本文中，通过对 BERT 模型进行 BERT-on-BERT 攻击、PWWS 攻击和 Fraud Bargain's 攻击 (FBA) 这三种不同的攻击机制的探索，利用 IMDB、AG News 和 SST2 等数据集进行全面对比分析，发
PDF3 months ago
ACL基准透明度：测量数据对评估的影响
本文提出了一个自动化框架来测量数据分布对自然语言处理模型性能和评估的影响，并通过两组实验表明数据的分布对评估具有统计学上的重要性，并且可预测模型的泛化能力。
PDF3 months ago
ACL在 NLP 模型中同时解决统计性别公平性和因果性别公平性
本研究评估了性别偏见的 NLP 模型的统计和因果去偏方法，发现这些方法在目标度量上有效减少了偏见，但不一定改善了其他偏见度量的结果。同时，我们展示了统计和因果去偏技术的组合能够减少通过两种类型的度量来衡量的偏见。
PDF3 months ago
RealKIE: 为企业关键信息提取设计的五个新数据集
RealKIE 是一个具有五个具有挑战性数据集的基准测试，旨在推进关键信息提取方法，重点关注企业应用。这些数据集包括一系列不同类型的文档，包括 SEC S1 文件，美国保密协议，英国慈善报告，FCC 发票和资源合同。除了介绍这些数据集外，我
PDF3 months ago
探索 LLMs 作为有针对性的合成文本数据源，以最小化高置信度的错误分类
使用大型语言模型进行数据增强，减少高置信度错误分类，并与人类数据进行比较，以降低成本并保持同样的准确性。
PDF3 months ago
COLING让句子嵌入对用户生成的内容具有强大的适应性
通过使用教师 - 学生方法，在标准和合成 UGC-like 数据集上训练 RoLASER，可以显著提高 LASER 模型对自然和人工 UGC 数据的鲁棒性，同时在标准数据上与 LASER 相媲美或更好，在 UGC 数据上始终优于 LASER
PDF3 months ago
儿童保育者对话中的语法准确性自动标注
通过自动标注工具对上千个关于儿童和照顾者对话的语料进行了上下文相关语法的编码和标注，并通过训练和评估一系列基于 Transformer 的 NLP 模型表明，在儿童语法中，细调的 Transformer 模型表现最佳，达到了人类间标注一致性
PDF3 months ago
COLING探索上下文学习与组合泛化之间的关系
通过在不同顺序的训练实例和打乱实例标签中训练模型，以测试强迫模型进行上下文学习对组成概括的促进作用的假设，研究表明，以这种方式训练的模型在组成概括方面确实显示出改进，证明了上下文学习问题作为归纳偏差用于概括的有效性。
PDF3 months ago
LLM 是否是出色的密码填字游戏解答者？
利用三种大型语言模型对神秘填字游戏进行基准测试，结果显示它们在这个任务上的表现远远低于人类。
PDF4 months ago
基于转换器的文本分类器的量化对鲁棒性的影响
本文探讨了量化对基于 Transformer 模型的鲁棒性的影响，并通过对 BERT 和 DistilBERT 模型在文本分类中对 SST-2、Emotion 和 MR 数据集以及 TextFooler、PWWS 和 PSO 敌对攻击的评估
PDF4 months ago
多语言视觉推理中缺少的内容及其修复方法
NLP 模型通过在视觉推理任务上的测试，评估了多语言、多模态方面的能力。通过分析模型的失败，提出了三个针对性干预措施，包括翻译 - 测试方法、视觉编程方法和利用图像字幕处理多模态问题。这些干预措施在零 - shot 设置下提高了 open
PDF4 months ago