深层激励多任务网络用于辱骂语言检测

Mar, 2024

深层激励多任务网络用于辱骂语言检测

Deep Prompt Multi-task Network for Abuse Language Detection

Jian Zhu, Yuping Ruan, Jingfei Chang, Cheng Luo

TL;DR我们提出了一种用于滥用语言检测的全新的深度提示多任务网络 (DPMN)。DPMN 首先尝试设计了对预训练语言模型 (PLMs) 的深度提示调优和轻提示调优两种形式。研究了不同提示长度、调优策略和初始化方法对滥用语言检测的影响。此外，我们提出了一种基于 Bi-LSTM 和 FFN 的任务头，可用作短文本分类器。最终，DPMN 利用多任务学习进一步提高了检测性能。在 OLID、SOLID 和 AbuseAnalyzer 三个公开数据集上对提出的 DPMN 进行了评估，实验结果表明我们的 DPMN 优于现有方法。

Abstract

The detection of abusive language remains a long-standing challenge with the extensive use of social networks. The detection task of abusive language suffers from limited accuracy. We argue that the existing detection methods utilize the fine-tuning technique of the pre-trained language model

abusive language detection pre-trained language models deep prompt multi-task network prompt tuning multi-task learning

发现论文，激发创造

针对具有鉴别力的预训练语言模型的提示调节

该论文提出了 DPT 作为针对区分性 PLMs 的 prompt tuning 框架，并将自然语言处理任务转换为区分性语言建模问题。通过全面的文本分类和问答实验表明，与 vanilla fine-tuning 相比，DPT 在全集和低资源环境下都能显著提高性能，并解决了调整大型 PLMs 中的不稳定问题。

May, 2022

利用预训练语言模型的提示学习技术进行阿尔茨海默病检测

本文通过使用基于提示的微调技术，结合语音中存在的顿挫特征，优化了已有的语言模型，建立了一套 AD 自动检测系统，实验结果表明利用提高语调或语速左右的提示词建议的自然而然的语音可以有效提高自动检测系统的性能。

Oct, 2022

用对比提示调整使预训练语言模型成为端到端的小样本学习模型

CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

Apr, 2022

MPrompt: 多级提示调优在机器阅读理解中的探索

该研究提出了一种多级提示调优方法来增强机器阅读理解，通过利用任务特定、领域特定和上下文相关的提示，提高了输入语义在不同层次上的理解能力。同时，引入了独立性约束来避免冗余，并利用上下文相关知识生成合适的提示。在各种问答格式的 12 个基准测试中进行了广泛实验，相比最先进的方法，平均改进率达到了 1.94%。

Oct, 2023

PerPLM：通过特定作家中间学习和提示个性化微调预训练语言模型

利用个性化中间学习提取作家文本的任务无关特征，通过使用作家特定提示来个性化统一的预训练语言模型，提高文本理解任务的准确性。

Sep, 2023

PromptAttack：一种基于提示的语言模型梯度搜索攻击方法

本文提出一个恶意提示模板构造方法（PromptAttack）来探究预训练语言模型（PLMs）的安全性能。对三个数据集和三个 PLMs 进行广泛实验，证明了我们提出的 PromptAttack 方法的有效性。我们还进行了实验，验证了我们的方法在少量样本情境下也可以适用。

Sep, 2022

TrojPrompt：预训练语言模型的黑盒特洛伊攻击

本文针对基于 Prompt 学习的预训练语言模型 API 的安全问题进行了研究，提出了 TrojPrompt 框架以解决现有的后门攻击问题，并在现实世界的黑盒预训练语言模型 API 中成功插入了木马，同时保持出色的性能。

Jun, 2023

帮助语言模型学习更多知识：多维任务提示用于少样本调整

通过提出多维任务提示学习方法（MTPrompt），将更多的任务相关信息嵌入提示中，以激发大型语言模型中嵌入的知识，从而实现在少样本和五个不同数据集上取得最佳结果，并在不同实验设置和削减实验中展示了该方法的有效性和稳定性。

Dec, 2023

研究面向仇恨言论检测的 PLM 关键学习动态

调查预训练语言模型对恶意言论检测性能的影响，比较不同的预训练模型，评估其鲁棒性及微调设置，并探究预训练数据收集时间的影响。分析结果显示预训练阶段对后期任务有早期的峰值，使用最新的预训练语料库的效益有限，微调阶段会受特定层的影响。对于恶意言论检测，领域特定模型的使用被质疑，并强调需要动态数据集进行评估比较。

Feb, 2024

基于词典短语级别的大语言模型提示用于机器翻译

本研究通过利用双语词典的先验知识提供提示，提出了一种新的 DiPMT 方法，可以有效解决 LLM 在低资源机器翻译和领域转移情况下难以翻译生僻词的问题，并且实验结果表明 DiPMT 能够提高 LLM 的翻译性能。

Feb, 2023