预训练的 Transformer 模型能否用于检测复杂敏感句子？—— 以孟山都公司为例

Mar, 2022

预训练的 Transformer 模型能否用于检测复杂敏感句子？—— 以孟山都公司为例

Can pre-trained Transformers be used in detecting complex sensitive sentences? -- A Monsanto case study

Roelien C. Timmer, David Liebowitz, Surya Nepal, Salil S. Kanhere

TL;DR探讨使用预训练的 transformer 模型来检测包含大量敏感信息或已知敏感内容的句子，通过对 Monsanto 测试数据集的实验发现，使用 BERT 模型可以更好地检测敏感信息，从而预防应急信息泄漏。

Abstract

Each and every organisation releases information in a variety of forms ranging from annual reports to legal proceedings. Such documents may contain sensitive information and releasing them openly may lead to the leakage of confidential information. Detection of sentences that contain sensitive information in documents can help organisations prevent the leaka

sensitive information detection pre-trained transformer models bert monsanto trial data set confidential information leakage prevention

发现论文，激发创造

基于 Transformer 的情感检测方法

本研究探讨了采用不同类型的最先进的转换器模型对文本分类的性能，发现其中 RoBERTa 模型在测试数据集上表现最佳，可用于文本中灾难的检测。此外，我们发现预处理技术，词汇表中单词的性质，不平衡标签和模型参数对学习算法的性能产生影响。

Mar, 2023

危机转型：面向危机相关社交媒体文本的预训练语言模型和句子编码器

社交媒体平台在危机传播中起着重要作用，但由于其非正式性质，分析危机相关的社交媒体文本具有挑战性。为了解决危机信息学文献中的这些差距，本研究引入了 CrisisTransformers，这是一个预训练语言模型和句子编码器的集合，它们经过广泛的语料库训练，包含了超过 150 亿词元的推文，涉及 30 多个危机事件，包括疾病爆发、自然灾害、冲突和其他重大事件。评估现有模型和 CrisisTransformers 在 18 个危机特定的公共数据集上表现，我们的预训练模型在所有数据集的分类任务中都优于强基线，而我们表现最佳的句子编码器在句子编码任务中将现有技术水平提高了 17.43%。此外，我们研究了模型初始化对收敛性的影响，并评估了领域专用模型在生成语义有意义的句子嵌入中的重要性。所有模型已公开发布，以期成为分析危机相关社交媒体文本任务的强大基准。

Sep, 2023

基于 Transformer 的神经文本表示技术在错误分配中的比较研究

本研究通过使用 DeBERTa 技术，对 53 年的开源数据集进行了自动故障调整的任务进行了量化和定性分析，结果表明 DeBERTa 是在开发者和组件分配等任务中最有效的技术。

Oct, 2023

BudgetLongformer：我们能否以低成本从头开始预训练 SotA 法律语言模型？

通过 Replaced Token Detection 任务提高训练信号量，我们训练了 Longformer 模型来展示使用更少的计算力可以预训练高效的语言模型，并在长文本摘要任务上取得了很好的性能。

Nov, 2022

利用心理语言学特征和 Transformer 提升基于文本的情感检测的泛化能力

本文采用基于转换器模型和双向 LSTM 网络的方法，结合心理语言学特征进行基于文本的情感检测，在两个基准数据集中表现出可比性，在六个统一情感数据集的迁移学习实验中表现出强大的跨领域泛化功能。

Dec, 2022

基于 Transformer 的文本罪犯检测

研究通过探索三种基于 transformer 的语言模型在文本中检测负罪感的适用性，并比较它们在一般情绪检测和负罪感检测中的性能，发现我们提出的模型的性能较 BERT 和 RoBERTa 模型分别高出两点和一点。此外，通过对结果的定性分析，我们评估了模型在检测与 “羞愧” 等相关情绪方面的有效性，并分析了开发准确的负罪感检测模型所面临的挑战。

Jan, 2024

使用预训练变形器处理长法律文件：修改 LegalBERT 和 Longformer

本研究探讨了两个方向来处理长篇的法律文本：一是修改从 LegalBERT 启动的 Longformer 以处理更长的文本，二是修改 LegalBERT 以使用 TF-IDF 表示。结果发现，第一个方法表现最佳，在 LexGLUE 中胜过 LegalBERT 的分层版本；第二个方法计算效率更高，而且仍然优于 TF-IDF 特征的线性 SVM。

Nov, 2022

预训练数据分布对病理报告分类效果的研究

测试 4 个病理分类任务，涉及 2907 份前列腺癌病理报告，评估 5 个变压器预训练模型以及他们的不同预训练语料库，发现混合域和领域特定的模型在微调过程中具有更快的特征消歧能力，同时，混合域模型更具抗过度拟合性。同时，使用通用自然语言和特定领域语料库在预训练中互补起到了病理报告分类的作用。

May, 2023

BERT 和 GPT-2 神经网络架构迁移对金融情感分析的敏感性分析

本文研究了利用预训练模型进行微调时，模型的表现和参数的敏感性，通过实验发现 BERT 模型对于微调的随机性十分敏感，而 GPT-2 则更加稳定，同时也发现 GPT-2 和 BERT 的前几层包含了重要的单词模式信息需要进行保留。

Jul, 2022

BERT 在临床笔记上的预训练是否会透露敏感数据？

本文描述了一系列旨在从已训练的 BERT 模型中恢复个人健康信息 (PHI) 的方法，同时提供了实验设置和基准探测模型，以促进类似研究。结果显示简单的探测方法无法有效地从 MIMIC-III EHR 训练的 BERT 中提取敏感信息，但更复杂的 “攻击” 可能会成功。因此，释放训练过的类似 EHR 的 BERT 模型是否存在数据隐私问题，需要更加深入的研究。

Apr, 2021