bidirectional transformers | BriefGPT

关键词bidirectional transformers

搜索结果 - 7

TocBERT: 使用双向转换器进行医疗文档结构提取
TocBERT 是一个使用双向转换器进行文本分割的新解决方案，它通过从语义表示中检测标题和子标题来训练一个监督式的解决方案，该任务被制定为命名实体识别（NER）问题。它在医学文本分割应用中表现出色，用于细调 Bio-ClinicalBERT
PDF9 days ago
多源电子病历轨迹上下文表示学习的掩蔽语言模型
利用电子健康记录数据和机器学习指导未来决策需要解决长 / 短期依赖和疾病与干预措施之间的交互等挑战，而双向变压器已经有效地应对了前者，通过对一个来源（例如 ICD10 代码）进行掩码处理，并训练变压器使用其他来源（例如 ATC 代码）进行预
PDF5 months ago
M2T：双重掩码变换加速解码
本文演示了在神经图像压缩中应用面向遮蔽令牌预测训练的双向变压器以实现最先进的结果。通过使用预定义的、确定性调度，本文证明这些模型在图像压缩方面表现良好。同时在训练过程中使用面向遮蔽的关注力以及在推断过程中使用激活缓存，能够使我们的模型显著地
PDFa year ago
基于双向 Transformer 的对比学习用于序列推荐
本文提出了一种新框架，使用双向 Transformer 进行对比学习，针对顺序推荐中用户行为不是严格的从左到右顺序这一问题进行改进，同时采用滑动窗口技术，结合 Cloze 任务掩码和 Dropout 掩码来生成高质量正样本，并进行多对比学习
PDF2 years ago
当代议题倾向性预测：数据与实验
研究使用预训练的双向变压器和情感信息，以改进对当代问题长时间讨论的立场检测，并创建一个新的含有情感信息的数据集，该数据集可用于浅层递归神经网络在低参数下达到了与经过微调的 BERT 相同的结果，同时使用简单的方法解释了哪些输入短语对于立场检
PDF4 years ago
ICLRPoly-encoders: 转换器结构和预训练策略用于快速准确的多句子评分
本文提出了一种新的神经网络编码器 ——Poly-encoder，它通过学习全局注意力特征来提高匹配任务的性能，并对三种常见的匹配方法进行了实验比较，得出了 Poly-encoder 相对于 Cross-encoder 和 Bi-encode
PDF5 years ago
ClinicalBERT：医疗记录建模和医院复诊预测
本文使用双向转换器（ClinicalBERT）开发和评估了临床笔记的表示方法，该方法发现了医学概念之间的高质量关系，并在 30 天医院再入院预测方面优于基线，使用的数据为出院小结和重症监护室的前几天的笔记。
PDF5 years ago