本文展示了公共的聊天机器人模型容易提供有毒反应，并出现了一些非有毒查询可以触发有毒反应。通过实验，展示了一个攻击（ToxicBuddy）的有效性和三种防御机制对其的影响。该研究强调了保障聊天机器人的安全性需要更多的计算机安全和在线安全社区的研究，并展示了 ToxicBuddy 可用作审计工具。

Sep, 2022

设计了一种名为 oxicbot 的新攻击方式，通过对话序列来触发多轮对话中聊天机器人生成有毒回复，使得聊天机器人模型可以被触发生成有毒回复，进而绕过两种防御方法，需要进一步研究解决动态交互环境下聊天机器人的毒性问题。

Jul, 2023

我们评估了 ChatGPT 中的毒性，并发现其毒性取决于提示的不同属性和设置，包括任务、领域、长度和语言，发现创意写作任务的提示可能比其他任务更容易引发有毒反应，德语和葡萄牙语的提示也会使反应的毒性加倍，此外，我们发现早期研究中设计的某些存心恶意的提示不再产生有害反应，希望我们的发现可以指引模型开发者更好地监管这些 AI 系统，并帮助用户避免不良输出。

Nov, 2023

本文探讨了自然语言处理中毒性检测模型的发展和对抗性攻击的防御机制，提出了一种攻击和防御机制针对对话系统，能够自动触发系统生成毒性语言，同时保持谈话流畅度，并证明了该防御机制不仅有效避免了毒性语言生成，而且可以推广到对话系统之外的语言生成模型。

May, 2022

ToxBuster 是一个简单且可伸缩的模型，通过包含聊天历史和元数据，可在实时环境中可靠地检测毒性内容，适用于社交媒体和游戏平台，在流行的多人游戏中性能稳定，并在聊天举报玩家的精确度达到 90% 的情况下成功标记大约 82.1% 的玩家以及主动监管未报道的约 6% 的有毒玩家。

Oct, 2023

介绍了 ToxBuster ，一种简单且可扩展的模型，用于检测在线空间中的毒性。该模型使用彩虹六围攻和荣耀战荣耀的游戏聊天记录数据进行训练，并且对不同类型的毒性进行了仔细的注释。相较于现有技术，ToxBuster 在精确性和召回率上均表现出较大提升，达到了 82.95% 和 83.56%。该模型使用了过去的聊天历史和元数据，并研究了实时和游戏后的监管以及模型从一个游戏传输到另一个游戏的可行性。

May, 2023

本文描述了 'Moj Masti' 团队提出的系统，使用了 ShareChat/Moj 在 IIIT-D 多语言恶性评论识别挑战中提供的数据，重点介绍了如何利用多语言 Transformer 预训练和微调模型来处理混合代码 / 交替代码分类任务，最终在测试数据 / 排行榜上实现了平均 F-1 分数为 0.9 的最佳性能，并通过添加音译数据、集成和一些后处理技术进一步提高了系统的性能，从而将我们放在了排行榜的第一位。

Jan, 2022

本文提出了一个针对游戏内毒性语言检测的模型 / 框架，解决了由于游戏内聊天过短导致毒性检测困难的问题，并介绍了该模型的建立过程及数据源。

Nov, 2022

探讨了在开放领域生成式对话模型中缓解无意识偏见、有害行为的问题，提出了新的人与模型交互框架及新方法，而不使用外部分类器，在保证模型可用性的同时更安全，实现了自动和人为评估。

Oct, 2020

本文讨论了在训练端到端对话 AI 模型时会遇到的关于安全性的困境。提供了一个基于价值观的设计框架，以帮助研究人员在决定何时和如何发布这些模型时做出更合理的决策，并提供了一套工具来帮助他们进行更明智的选择。

Jul, 2021