text classification tasks | BriefGPT

关键词text classification tasks

搜索结果 - 13

乌克兰文本分类：跨语言知识迁移方法的探索
我们利用 NLP 的最新进展，探索跨语言知识转移方法，避免手动数据整理，以改善 NLP 文本分类领域中各种语言之间数据可用性的不平衡问题，并在三个文本分类任务上进行测试，提供最佳设置的 “配方”。
PDF3 months ago
BERT 中文本缩短策略的研究：截断 vs. 摘要
本研究调查了文档截断和摘要在文本分类任务中的表现，并发现摘要的性能超过了大多数截断方法的变体，仅次于其中一种。该研究还讨论了结果，并引发了进一步研究以开发文档摘要作为一种缩短替代方案的潜力。
PDF3 months ago
数据增强已死，数据增强万岁
在这篇论文中，我们挑战了传统数据增强方法的有效性，并表明经过更多时间的微调可以抵消数据增强的效果。我们还展示了零和少量数据生成方法通过对话代理（如 ChatGPT 或 LLama2）可以提高性能，从而总结出这种形式的数据增强仍然有效，即使传
PDF4 months ago
针对参数效率微调的权重污染后门攻击的防御
最近，针对语言模型的各种参数高效微调（PEFT）策略已经被提出并成功应用。然而，这引发了一个问题，即当面临权重污染后门攻击时，PEFT 这种只更新有限模型参数的方法是否构成安全漏洞。本研究表明，与全参数微调方法相比，PEFT 对权重污染后门
PDF4 months ago
為什麼举得那麼重？通过削减层数减轻大型语言模型
通过减少层数，可以缩小大型语言模型的规模，而仍能保持或提升其在文本分类任务中的性能水平。
PDF5 months ago
改变提示的蝴蝶效应：小的变化与越狱对大型语言模型的影响
在这项研究中，我们探究了提示的构建方式对大型语言模型的决策是否产生影响。我们通过一系列针对不同文本分类任务的提示变化进行了实验。研究发现，即使是最小的扰动，如在提示的末尾添加一个空格，都可能导致大型语言模型改变其回答。此外，要求以 XML
PDF6 months ago
AAAILLM 对上下文中的多数标签偏差有多健壮？
研究论文讨论了在大语言模型中，针对文本分类任务中存在的主要标签偏差引起的偏移，通过研究不同模型和任务的鲁棒性边界发现，某些大语言模型对主要标签偏差具有高度的鲁棒性（约 90%），并强调了模型大小和教学提示的丰富性对模型的鲁棒性有影响。
PDF6 months ago
随机抽样的启发式优化
使用语言模型的生成性质生成与任务相关的分隔符相较于人工策划的提示（如 “TL;DR”）表现出有竞争力的结果。我们证明，即使从词汇表中随机选择的标记作为分隔符，也能达到接近最先进性能的效果。通过使用三种不同的随机生成策略详细分析这一现象，我们
PDF8 months ago
EMNLP不是所有演示例子一样有益：重新加权演示例子进行上下文学习
使用掩码自预测分数，对掩码预训练的大型语言模型进行上下文学习（In-Context Learning），并通过优化示例权重以及应用于不同模型位置的两种策略，在 8 个文本分类任务中显著优于常规的上下文学习方法。
PDF9 months ago
增强：基于注意力的 Mixup 用于 Transformer 的性能提升和标签平滑
混合是一种有效的数据增强方法，通过聚合不同原始样本的线性组合来生成新的增强样本，本文提出了一种名为 AMPLIFY 的新的混合方法，使用 Transformer 自身的注意机制来降低原始样本中噪音和异常值对预测结果的影响，避免了传统混合方法
PDF9 months ago
EXnet：无数据文本分类的高效上下文学习
本文介绍 EXnet 模型，以进行上下文学习，通过提供例子来促进跨任务泛化，特别是针对文本分类任务。
PDFa year ago
预训练 Transformer 内部分布校准的技巧
本文探讨了针对预训练语言模型（PLMs）的置信度校准，提出了一种 Calibrated PLM（CALL）的组合方法，包括置信度惩罚损失、数据增强和集成方法，CALL 能够弥补对单独使用校准方法可能产生的缺陷，提高了分类和校准精度。
PDFa year ago
ACLSAFER: 一种无需结构的方法，实现对抗性词汇替换的认证鲁棒性
针对自然语言处理领域中的同义词替换攻击问题，提出了一种基于随机平滑技术的认证鲁棒性方法，能证明某些输入不能通过任何同义词替换被修改，可以应用于各种预训练模型，在 IMDB 和亚马逊文本分类任务上表现优异，创造了 BERT 系统鲁棒性认证的最
PDF4 years ago