Secure-Federated-Transfer-Learning

here for paper

  • Author:YangLiu(Webank)
  • Federal Learning


摘要:

机器学习需要很多数据集,但一些公司之间的数据是不可共享的。因此在这篇paper中,我们引入了一个新的技术Federated transfer learning(FTL)在不破坏数据的隐私的情况下,来给模型添加数据集。
通过加密传输的这种方法我们能够达成这个目的。

引入:

最近AI的成就很大部分基于标记过的数据,但标数据很贵。GDPR(General Data Protection Regulation)
欧盟提出的新法案已经实施了许多保护用户安全隐私的条款,并禁止组织直接交换数据。
如何在满足数据隐私的同时,启用大量仅具有小数据(少量样本和特征)或弱监督(少量标签)的企业和应用程序,以构建有效和准确的AI模型,是我们Federated transfer learning考虑的事情。

为了克服这些挑战,Google首先引入了联邦学习(FL)系统,其中全球机器学习模型由分布式参与者联合更新,同时在本地保存其数据。这些现有方法仅适用于联合下的共同特征或常见样本。然而,实际上,这组共同实体可能很小,使得联邦不那么有吸引力并且使大多数非重叠数据受到破坏。

在本文中,我们提出了一种可能的解决方案来解决这些挑战:联邦转移学习(FTL),它利用转移学习技术为联邦下的整个样本和特征空间提供解决方案。我们的主要贡献如下:

我们在privacypreserving设置中引入联合转移学习,以提供超出现有联合学习方法范围的联邦问题的解决方案;