roberta | BriefGPT - AI 论文速递

关键词roberta

搜索结果 - 86

探究变形金刚式语言模型中的动词体类别
我们调查了预训练语言模型（PLM）如何编码俄语动词相貌的语法类别。实验表明 BERT 和 RoBERTa 确实在其最后几层对相貌进行编码，并且对添加界定性含义对完美相貌和不完美相貌的影响相反，这与语法一致。我们的研究结果的实际应用是，仅对
PDFa month ago
揭开晦涩法律用语的面纱：自动化方法用于隐私政策和服务条款的摘要和重叠分析
我们的研究致力于通过开发语言模型来为合同和政策文件提供自动化、易于理解的摘要和分数，以增强用户理解，促进知情决策。我们在数据集上比较了基于 Transformer 和传统模型，RoBERTa 整体表现更好，达到了 0.74 的 F1 分数。
PDF2 months ago
ACLBCAmirs 参与 SemEval-2024 第 4 项任务：超越言语：以多模态和多语言方式探索 Memes 中的说服力
我们介绍了一种基于 GPT-4 生成字幕的方法，通过 fine-tune RoBERTa 作为文本编码器和 CLIP 作为图像编码器，改进了以文本和图像为基础的表意编码，取得了明显的性能提升。
PDF3 months ago
TRABSA：使用基于注意力机制的双向 LSTM 和 Twitter-RoBERTa 的可解释性推特情感分析
我们提出了 TRABSA，这是一个混合框架，整合了基于 transformer 的结构、注意机制和 BiLSTM 网络，用于情感分析。我们使用 RoBERTa 训练了 124M 条推文，填补了情感分析基准的差距，确保了最先进的准确性，并通过
PDF3 months ago
使用大型语言模型进行网络欺凌检测
社交媒体、网络欺凌、机器学习、大型语言模型和 RoBERTa 在网络欺凌检测方面的应用和效果的研究。
PDF5 months ago
RoBERTurk：针对土耳其语进行 RoBERTa 的调整
使用 BPE 分词工具，我们在土耳其语语料库上对 RoBERTa 进行预训练，模型在 BOUN 数据集上的词性标注任务中优于 BERTurk 系列模型，在 IMST 数据集上表现不佳，在土库曼语的 XTREME 数据集上的命名实体识别任务上
PDF6 months ago
DeepLearningBrasil@LT-EDI-2023：探索社交媒体文本中用于检测抑郁症的深度学习技术
本研究旨在通过深度学习方法，结合 RoBERTa 和 DeBERTa 模型，并利用 DepSign-LT-EDI 任务对社交媒体文本进行分类，进一步加强对精神健康对话的理解，最终取得了优越的性能表现，同时提供了相关代码以促进透明度和进一步发
PDF8 months ago
情感分析建模：LLMs 和数据增强技术
该论文在小型训练数据集上提供了不同的方法来进行二进制情感分类。使用了在情感分析和类似领域中提供最先进结果的 LLMs，如 BERT，RoBERTa 和 XLNet。
PDF8 months ago
RelBERT: 用语言模型嵌入关系
我们提出了一种使用相对较小的语言模型从文本中提取关系嵌入的方法，这种方法可以在关系相似性方面取得出色的结果，并且在关键词和模型性能方面显著优于其他基于提示的语言模型。
PDF9 months ago
关于提示调整中技能神经元与稳健性的关系
Prompt Tuning 是一种流行的参数高效微调方法，可以在预训练的大型语言模型（PLMs）中激活特定的技能神经元，并与 T5 和 RoBERTa 模型的对抗鲁棒性进行比较。我们发现，对特定任务进行微调的提示可以迁移到相同类型的任务，但
PDF9 months ago
模糊指纹变换语言模型在对话情绪识别中的应用
本论文将 Fuzzy Fingerprints 与 RoBERTa 相结合，在 Emotion Recognition in Conversations（ERC）任务中获得了最先进的结果，并提供了更简单和可解释性更强的 Large Lang
PDF10 months ago
用于推荐系统的多 BERT 嵌入
我们提出了一种使用 Sentence-BERT（SBERT）和 RoBERTa 两种最先进的自然语言处理模型结合生成文档嵌入的新方法。通过将句子视为标记并为其生成嵌入，我们的方法可以捕捉文档内句子间和句子间的关系，从而生成更具语义丰富性和准
PDF10 months ago
抽象文本摘要中的命名实体处理
通过训练 RoBERTa 模型确认文本中的命名实体，并使用 BART 模型重构被遮盖的命名实体，然后在摘要任务上对 BART 模型进行微调，改进了命名实体的检测准确度和召回率。
PDFa year ago
使用 BERT 和 fine-tuned RobertA 检测由 AI 生成的新闻
本研究表明，通过针对 BERT 和 RobertA 模型进行微调，在检测 AI 生成的新闻中取得了最好的效果。Roberta 模型的得分为 98％，精度表现卓越，研究结论表明，神经网络可用于识别 ChatGPT 生成的虚假新闻，并表明这些模
PDFa year ago
MultiLegalPile: 一个拥有 689GB 的多语言法律文本库
本研究介绍了一个新的大型多语言法律文本数据集 MultiLegalPile，用于培训各种 NLP 模型，使用 RoBERTa 和 Longformer 等预训练模型性能优越，在 LEXTREME 上取得新的 SotA，我们在 LexGLUE
PDFa year ago
抽象式摘要作为文档级事件检测的扩充
使用抽象文本摘要作为增强方法，着重于在文档级事件检测上弥合浅层模型和深层模型之间的性能差距，使用 RoBERTa-base 和线性 SVM 对分类进行实验，结果表明，文档标题的使用不但能够增强分类性能，还能提高 RoBERTa 的 F1 分
PDFa year ago
ACL上下文感知 Transformer 预训练与答案句子选择
该研究提出了三个预训练目标，旨在模拟上下文 Answer Sentence Selection 的下游微调任务，并应用于 RoBERTa 和 ELECTRA 等模型，达到一定的准确率提升。
PDFa year ago
GPT-Sentinel：区分人类和 ChatGPT 生成的内容
本论文提出了一种使用语言模型检测 ChatGPT 生成的文本与人工编写文本的新方法，并设计、实现和训练了两种不同的文本分类模型，使用了 Robustly Optimized BERT Pretraining Approach（RoBERTa
PDFa year ago
ArguGPT: 评估、理解和识别由 GPT 模型生成的论证性文章
本文介绍了 ArguGPT 数据集，分析了由大型语言模型生成的英文论述文章的语言学特征，以及用于检测 AIGC 的现有和新型检测器的性能，其中使用的 RoBERTa 检测器在 essay 和 sentence 级别均可达到 90% 以上的准
PDFa year ago
MisRoBÆRTa: 变形金刚与错误信息
本论文提出了一种基于 transformer 的深度神经集成体系结构（MisRoBÆRTa），用于对谣言的检测，基于一个大型真实新闻文章数据集进行了训练和测试，并且使用两个 transformer（BART＆RoBERTa）来提高分级性能，
PDFa year ago