NIPSDec, 2017

FlagIt: 一个最小监督的人贩指标挖掘系统

PDF
TL;DR本文探讨了在线性广告领域中的指标挖掘问题，介绍并研究了 FlagIt 系统，该系统结合轻量级专家系统和经典的半监督（启发式重新标记）及最近发布的最先进的无监督文本嵌入，能够为数百万个句子打上高度与人口贩卖相关的指标。 FlagIt 技术堆栈是开源的。FlagIt 在涉及五个指标的初步评估中，与几种替代方案相比，表现出有希望的性能。FlagIt 系统正在积极开发、完善，并被整合到一个面向领域的搜索系统中，该领域专门用于打击人口贩卖，并正在被积极扩展以使用最少的编程工作来开采至少六个以上的指标。FlagIt 是一个在有限的标签设置中运行，并需要创造性地结合现有机器学习技术来产生可供非技术分 析师使用的输出的系统的良好示例。
indicator miningonline sex advertisinghuman traffickingflagitunsupervised text embeddings
发现论文，激发创造
  • 针对可解释性人工智能（XAI）的符号 AI：评估 LFIT 归纳编程在公平和可解释自动招聘中的应用

    本文介绍了一种将归纳逻辑编程 (ILP) 技术应用于机器学习的通用方法，通过在自动工具中集成确定的解释，来实现公平招聘，并展示了对于特定问题而言，支持这种方法的表现力。

    Dec, 2020

  • HIT: 一种分层融合的深度注意力网络，用于鲁棒的混合语言表示

    本文提出了 HIT 作为一种针对码 - 混合文本的健壮的表示学习方法，该方法用层次化 transformer 框架来抓取词语间的语义关系，并使用融合注意机制来层次性地学习句子级别的语义。实验结果表明，HIT 在 11 个数据集上的 4 个 NLP 任务中显著提高了性能，并且在迁移学习环境中显示了学到的表示的适应性。

    May, 2021

  • 使用未标记数据学习指令，以实现零样本跨任务泛化

    本文提出了 Unlabeled Data Augmented Instruction Tuning (UDIT) 算法，通过使用未标注的文本数据构建伪标注数据，以更好地利用指令来提高指令微调的性能，实验结果表明 UDIT 在不同场景下都具有较好的效果。

    Oct, 2022

  • 推理时干预：从语言模型中引出真实答案

    介绍了一种名为 Inference-Time Intervention 的技术，它通过在有限数量的注意头上遵循一组指南，在推理期间改变模型的激活来提高大型语言模型的真实性，该技术在 TruthfulQA 基准测试中显著提高了 LLaMA 模型的性能。

    Jun, 2023

  • 基于聚类的生成不完整图像文本聚类 (CIGIT-C)

    本研究针对多模态数据，使用一种基于生成网络的不完整图文聚类方法，旨在解决实际情景中数据不完整的问题，并在公开数据集上验证了其性能优于已有方法。

    Sep, 2022

  • ClusT3: 信息不变的测试时间训练

    深度学习模型在各种视觉任务中展现出卓越的性能，但它们常常容易受到测试时的领域转移所影响。为了缓解这些脆弱性，已经开发了测试时训练（TTT）方法，在训练时同时解决了主任务和次要任务，以在测试时作为自监督代理任务。在本文中，我们提出了一种基于多尺度特征图和离散潜在表示之间相互信息最大化的新型无监督 TTT 技术，它可以作为一项辅助聚类任务整合到标准训练中。实验结果表明，在不同的常见测试时适应基准上具有竞争力的分类性能。

    Oct, 2023

  • 利用无配对数据进行视觉 - 语言生成模型的循环一致性优化

    本文介绍了 ITIT（InTegrating Image Text）模型，采用循环一致性原则，通过在未配对的图像和文本数据上进行双向图像到文本和文本到图像的生成，实现视觉语言训练，并证明其在与高质量配对数据相比的图像生成和字幕性能上表现类似。

    Oct, 2023

  • 仅使用文本数据从 CLIP 模型中推断身份

    在 CLIP 模型中提出了一种文本单模态检测器（TUNI）方法，通过只使用文本数据来查询目标模型，并且无需训练影子模型，以解决个人身份推理和隐私泄露的挑战。

    May, 2024

  • 文本倒装用于概念审查的后门技术

    通过在 Textual Inversion 嵌入式中注入后门技术，实现概念审查，以防止个人化技术被恶意用户滥用。

    Aug, 2023

  • NL-ITI：优化探测和干预以改进 ITI 方法

    大型语言模型容易返回虚假信息，为了解决这个问题，该研究探索了一种介入推理时间的范式，引入了非线性探测和多标记介入方法，称之为 Non-Linear ITI。该方法在多种多项选择基准测试中取得了鼓舞人心的结果，并且在与其他基线和模型相比的实验中表现得更为非侵入性。

    Mar, 2024