roberta model | BriefGPT - AI 论文速递

关键词roberta model

搜索结果 - 14

使用机器学习和自然语言处理方法进行情感分析中 Reddit 评论的性能评估
使用 GoEmotions 数据集评估情感分析模型的效能并扩展研究范围，发现 RoBERTa 模型在细粒度情感分类任务上表现出色，推动了情感分析能力的发展。
PDFa month ago
使用 GPT-J 与 RoBERTa 进行 NER 模型在电子牙科记录中的牙周诊断抽取
这项研究探讨了提示生成在命名实体识别（NER）任务中的可用性以及在不同设置下的性能。研究强调了种子质量而非数量对于给 NER 模型提供输入的重要性。
PDF7 months ago
基于拓扑数据分析和滑动窗口技术的人工文本边界检测
通过使用不同的方法和特征，我们提出了一种基于 RoBERTa 模型和冻结语言模型嵌入特征的新方法，能够超过人类准确度水平和先前考虑的基准，在真实或假文本基准测试上取得更好的结果，并且分析了各种设置下所有提出分类器的鲁棒性以及对人工文本边界检
PDF8 months ago
运用人工智能进行现场测试：使用变压器的自然语言处理
RoBERTa 模型的五千个变体通过 29 道选择题完成了一项英语读写能力考试，利用数据计算了这些考题的心理测量性质，结果显示它们在某种程度上与人类考生数据获得的结果相符。
PDF8 months ago
SemEval-2023 任务 4: 基于对比学习强化的最近邻机制的标签表示多头注意力模型，用于多标签文本分类中的毛泽东
本文介绍了我们团队使用 Roberta 模型进行多头注意力机制的人类价值自动识别方法，在 SemEval 2023 的评测中得到了第四名的成绩。
PDFa year ago
应用问答技术提取心理指标
本研究提出了一种利用 RoBERTa 模型对提出的问题进行问答以提取可能指示 BIG5 心理特征的文本片段的方法，并利用 Reddit 评论对模型进行了进一步的微调。在训练集中无答案的示例百分比对模型的性能影响也得到了验证。该研究表明所得结
PDFa year ago
DyLoRA: 使用动态无搜索低秩适应进行参数高效微调预训练模型
本文提出了一种名为 Dynamic Low-Rank Adaptation 的技术，旨在通过训练预训练模型的适配器模块，为多个秩数建立动态搜索免费的模型，并证明该方法可以显著加快训练速度并在 GLUE 基准测试中取得一致的优秀表现。
PDF2 years ago
为支持空间科学与工程质量管理与保障培训生成测验
本文提出了一个系统，可以从关于太空质量保证程序的文档中生成测验，以评估培训效果。该系统利用了 T5 和 BART 等最先进的自回归模型来生成问题，并使用 RoBERTa 模型提取答案，从而验证问题的适用性。
PDF2 years ago
VulBERTa：面向漏洞检测的简化源代码预训练
本文提出 VulBERTa，一个基于深度学习的方法，用于检测源代码中的安全漏洞。该方法使用真实的开源 C / C ++ 项目进行预训练，可以学习代码语法和语义的深层知识表示，并通过该表示来训练漏洞检测分类器。实验表明 VulBERTa 在多
PDF2 years ago
ACLTorontoCL 参加 CMCL 2021 共享任务：RoBERTa 多阶段微调用于注视跟踪预测
本文描述了我们参加 CMCL 2021 共享任务的参赛作品，利用 RoBERTa 模型和回归层来预测 5 个眼动追踪特征，用两个阶段微调的方法进行了训练，最后采用集成方法将不同的 Transformer 模型集成，获得了 3.929 的 M
PDF3 years ago
NTES_ALONG 在 Convai3 挑战中的澄清问题选择系统
该论文介绍了 NetEase 游戏 AI 实验室团队参加 2020 年 Search-oriented Conversational AI（SCAI）EMNLP 研讨会 ClariQ 挑战的情况。我们提出了一个澄清问题选择系统，它由回复理解
PDF4 years ago
一个文本到 SQL 的跨领域问题意图分类基准测试：你问了一个好问题吗？
本研究提出 TriageSQL，旨在解决跨领域的文本到 SQL 题意分类问题，包括将无法回答的问题和可回答问题区分开来。RoBERTa 模型在测试集上取得 60% 的 F1 分数，表明需要在这个任务上进一步改进。
PDF4 years ago
KDD电商地址分类的深度上下文嵌入
研究了如何使用自然语言处理和 RoBERTa 模型来理解发展中国家（例如印度）中电商客户的运输地址，该方法结合了诸如编辑距离和语音算法之类的预处理步骤，并最终使用 RoBERTa 模型进行分类。
PDF4 years ago
ACL预训练模型的中间任务迁移学习在自然语言理解中的应用：何时和为何有效？
对预训练模型 RoBERTa 进行 110 种中介 - 目标任务组合的大规模研究，发现需要高级推理和推理能力的中介任务最好。目标任务的表现与核心指代消解等高级能力密切相关，需要进一步研究广覆盖的评估基准。有证据表明，预训练过程中所学知识的遗
PDF4 years ago