Oct, 2023

PrIeD-KIE：面向隐私保护的文件关键信息提取

PDF
TL;DR通过差分隐私、联邦学习和差分隐私联邦学习的大型预训练文档基础模型，我们介绍了开发私有键信息提取（KIE）系统的策略。通过在六个基准数据集上的广泛实验，我们证明了大型文档基础模型可以在私有环境下进行有效微调，以实现足够的性能并保持强大的隐私保证。最后，我们引入了一种名为 FeAm-DP 的新型 DP-FL 算法，它能够将全局差分隐私从独立环境有效地扩展到多客户联邦环境。总体而言，我们的研究为私有 KIE 系统的开发提供了宝贵的见解，并凸显了文档基础模型在隐私保护文档 AI 应用中的潜力。
private key information extractiondifferential privacyfederated learningdocument foundation modelsprivacy-preserved document ai applications
发现论文，激发创造
  • 使用任务优化实现端到端文档分类和关键信息提取

    本文提出了一种基于端到端文档分类和关键信息提取的表格自动处理方法，其中采用了文本和布局编码技术，利用余弦相似度度量来对视觉上相似的文档进行分类，进而使用混合整数规划来提取文档中的关键信息，实验表明本方法对于文档预处理等优化技术具有重要作用，并取得了令人满意的实验效果。

    Jun, 2023

  • 深度隐私特征提取

    介绍了 DPFE，一种基于信息论约束的深度模型，通过选择性信息交换，可以保证用户的隐私，并在主要任务时保持高准确性。同时介绍了 DPFE 的隐私度量方法 log-rank privacy，并在智能手机上实现并评估了其性能。

    Feb, 2018

  • GenKIE：鲁棒的生成多模态文档关键信息抽取

    提出了一种名为 GenKIE 的新型生成式端到端模型，利用多模态编码器嵌入视觉、版面布局和文本特征，并利用解码器生成所需的输出，从而解决了来自扫描文档的关键信息抽取任务。实验证明 GenKIE 能够有效泛化到不同类型的文档，并在 OCR 错误方面表现出鲁棒性，因此在实际场景中具有广泛的应用前景。

    Oct, 2023

  • 具差分隐私的联邦学习

    我们展示了在不同类型的数据上，客户端数量和差分隐私机制的增加对模型性能的影响的实证基准，结果显示在分布式和差分隐私设置中，非独立同分布和小数据集的性能降低最为显著。

    Feb, 2024

  • RealKIE: 为企业关键信息提取设计的五个新数据集

    RealKIE 是一个具有五个具有挑战性数据集的基准测试，旨在推进关键信息提取方法，重点关注企业应用。这些数据集包括一系列不同类型的文档，包括 SEC S1 文件，美国保密协议，英国慈善报告，FCC 发票和资源合同。除了介绍这些数据集外，我们还提供了详细的注释过程、文档处理技术和基准建模方法的描述，以促进开发能处理实际挑战并支持研究产业特定问题的信息提取技术的进一步研究。

    Mar, 2024

  • 在医学图像分析中提高私有联邦模型的性能

    本研究探讨联邦学习在医疗应用中的优势，分析其如何能够解决医疗数据隐私、安全及所有权等挑战，讨论如何通过本地步骤和沟通轮数的调整来进一步提高模型的性能，并提供了理论证明和实验评估的支持。

    Apr, 2023

  • 基于学习的声明性隐私保护联邦数据管理框架

    该研究提出了一种端到端的工作流程，用于自动化隐私保护技术，通过使用差分隐私随机梯度下降（DP-SGD）算法训练的深度学习模型替换实际数据的部分以回答查询，以平衡联邦查询处理中的隐私和准确性。

    Jan, 2024

  • 使用分散聚合进行具有差分隐私的联邦学习

    移动设备、隐私、实用性、联邦学习和差分隐私是该研究的主要关键词，研究通过在联邦学习中采用差分隐私的实验环境并使用基准数据集来探讨隐私与实用性之间的平衡问题。

    Nov, 2023

  • 具有贝叶斯隐私的联邦深度学习

    通过提出的 Bayesian Privacy 框架，本文的研究成功地量化了隐私损失，证明了其安全的隐私保护能力，通过各种深度神经网络图像分类 MNIST、CIFAR10 和 CIFAR100 的实验结果，演示了一种新的联邦深度学习方法，该方法使用私有通行证层，具有高模型性能、隐私保护能力和低计算复杂性的特点。

    Sep, 2021

  • 公共文件信息提取基准中的信息冗余和偏差

    本研究通过对公共基准数据集 SROIE 和 FUNSD 进行实验，揭示了这两个数据集中存在的训练和测试文件的显著相似性，并提出了重采样策略以更好地评价模型对于具有不同文档注释的真实用例的泛化能力。模型在调整后的划分上效果下降 10.5% 至 SROIE 和 3.5% 至 FUNSD。

    Apr, 2023