bert-based models | BriefGPT

关键词bert-based models

搜索结果 - 47

SNOBERT：SNOMED CT 临床术语中的临床记录实体关联基准
该研究提出了一种名为 “SNOBERT” 的方法，使用基于 BERT 的模型，将临床笔记中的文本片段与 SNOMED CT 中的特定概念进行链接，对医疗数据和医疗编码进行自动化处理，该方法在深度学习的基础上优于其他传统方法。
PDFa month ago
CORE-BEHRT：一种经过精心优化和严格评估的 BEHRT
通过优化 BERT 模型的关键设计选择和数据表示方式，研究表明改进数据表示方法以及架构和训练协议可以显著提高基于 BERT 的电子健康档案模型的性能，从而为未来的相关工作奠定了坚实的基础。
PDF2 months ago
EcoVerse: 一个用于生态相关分类、环境影响分析和立场检测的标注推特数据集
Anthropogenic ecological crisis has prompted the NLP community to address the lack of research on environmental topics,
PDF3 months ago
加州圣塔克鲁兹大学在 SemEval-2024 第 5 项任务中的自然语言处理：使用少样本多选题进行法律答案验证
本文介绍了我们在 SemEval 2024 任务 5 中提出的内容：民事诉讼中的法律争议推理任务。我们提出了解决法律答案验证问题的两种方法：首先，对预训练的 BERT 模型进行了微调，并发现基于领域知识训练的模型效果更好；其次，我们对 GP
PDF3 months ago
歌词相似性感知的计算分析
比较分析了计算模型和人类感知中的歌词相似性，发现基于预训练 BERT 模型嵌入、歌曲音频和音素特征的计算模型能够准确表示感知中的歌词相似性，这一发现为相似性推荐系统的发展提供了伪标签和客观评估指标。
PDF3 months ago
评估命名实体识别：对巴西企业收益电话会议转录中单语和多语言 Transformer 模型的比较分析
研究涉及到从金融领域的葡萄牙语文本中提取信息的 NER 技术，评估了在葡萄牙语训练的 BERT 模型和多语言模型之间的性能差异，同时展示了关键词识别任务作为文本生成问题的新方法。
PDF3 months ago
基于 BERT 的中文拼写检查模型的层间注意力和高斯混合模型增强
基于 BERT 的模型在中文拼写检查任务方面表现出了显著的能力，然而传统的基于 BERT 的方法仍存在两个局限性：第一，虽然之前的研究发现明确的先验知识如词性标注对于拼写检查任务有益，但他们忽略了拼写错误会导致错误标签从而误导模型的事实；此
PDF6 months ago
ACL使用 Transformer 模型集合的共情和苦恼检测
该论文介绍了作者对于 WASSA 2023 的共享任务中的移情、情感和个性的方法。通过使用基于 BERT 模型的几种方法，以及尝试多种集成的方法，最终在感同身受和痛苦检测子任务中取得了排名第三的 Pearson 相关系数得分为 0.346。
PDF7 months ago
EMNLPMavericks 在 BLP-2023 任务 1 中：使用语言模型的基于合集的方法进行暴力煽动文本检测
本文介绍了我们在第一届孟加拉语语言处理研讨会的暴力煽动文本检测共享任务中的工作。针对社交媒体上的仇恨和暴力煽动性言论的传播加速，开发高效的机制来检测和遏制此类文本的传播至关重要。在资源匮乏的环境中，检测暴力煽动文本的问题更加严重，因为研究稀
PDF7 months ago
EMNLP人工敌对样本与友好样本对 BERT 泛化能力的影响
通过实验验证，针对固定大小的训练样本，10-30% 含有人工对抗元素的训练样本可以提高文本分类和关系抽取等任务的准确性和 F1 分数，超出这一范围的增加可能导致性能停滞甚至降低。与此相反，带有人类友好元素的训练样本可能不利于模型的泛化能力，
PDF9 months ago
瑞士联邦最高法院裁决的自动匿名化
我们使用一种基于 BERT 模型的新方法，将现有的匿名化软件与机器学习相结合，进一步减少人工劳动，增强自动建议，从而提高了超过 5％的 F1 分数，并演示了将法院决定发布给公众所依赖的适当匿名化的重要性。
PDF9 months ago
探索临床笔记表型的替代特征提取流程
通过使用 ScispaCy 从临床记录中提取常见疾病，训练各种监督学习模型来确定其与患者属性的相关性，并与 ClinicalBERT 和基于 LSTM 的方法进行比较，提出一种可作为现有方法的补充的替代方法。
PDF9 months ago
汉语拼写校正作为语言模型的改写
本研究探讨了中文拼写纠错，提出了一种新的训练方法 Rephrasing Language Modeling，通过重新构造整个句子而非逐字符标记的方式来纠正拼写错误，取得了在细调和零样本测试中的最新最佳表现，超越了之前的方法，并能在与其他任务
PDF10 months ago
评估基于 BERT 的科学关系分类器在数字图书馆馆藏中用于学术知识图谱构建的效果
通过对三个语料库进行互相匹配，开展了 BERT 模型的实证研究。实验结果显示，与其他变量相比，该领域特定的预训练 BERT 变体最适合于关系检测任务，并且单次预测一个关系的策略通常比同时识别多个关系的策略表现更好，同时研究的结论还可以帮助数
PDFa year ago
ACL2023 SemEval 任务 10：使用多数表决微调 Transformers 可解释检测在线性别歧视
本文介绍了我们在 SemEval 2023 - 可解释的在线性别歧视检测 (EDOS) 的 Task 10 中的贡献，包括三个子任务。我们提出了使用 BERT-based 模型进行实验和调优、并使用多数表决模型的方法来检测和解释在线性别歧视
PDFa year ago
基于 Transformer 的长文档匹配模型：挑战与实证分析
研究长文档匹配的最新进展集中在使用基于 transformer 的模型进行长文档编码和匹配，本文实证演示了相对于 transformer-based 模型，使用简单的神经模型（如前馈网络和 CNN）和简单的嵌入（如 GloVe 和 Para
PDFa year ago
ESIE-BERT: 基于 BERT 明确丰富子词信息的联合意图分类和槽位填充
该文章提出了一种基于 BERT 的新方法，在识别复杂 token 中的语义信息时，通过提出的子词注意适配器（SAA）来保留整个话语信息。此外，我们还提出了一个意向注意适配器（IAA）来在模型中实现整句特征提取，从而改进了预测性能，最终，我们
PDF2 years ago
多标签环境中的标签相关性利用：情感分析案例研究
论文研究了多标签情感识别模型中的标签相关性，并提出了两种建模方法和通过情感表示的成对约束作为正则化项，证明该方法在多种语言环境下具有最先进的性能和更好的稳健性。
PDF2 years ago
基于文本和药物嵌入的多模态模型用于不良药物反应分类
本文介绍了一种基于多模态模型和 BERT 的方法，用于对推文进行分类以检测潜在的药物效应和反应。实验证明，神经网络得到的分子信息对 ADE 分类比传统分子描述符更有益。
PDF2 years ago
ACLSMTCE：越南社交媒体文本分类评估基准和 BERTology 模型
该研究介绍了 Social Media Text Classification Evaluation (SMTCE) 基准并使用各种多语言和单语 BERT-based 模型对多个 SMTC 任务进行了实现和分析。结果表明，单语言模型优于多语
PDF2 years ago