大发时时彩-大发二分彩星云Clustar论文解读《联邦学习下的安全矩阵分解

  • 时间:
  • 浏览:0

  随着人工智能时代的到来,大数据是人工智能产业化中不可或缺的基石。然而,亲戚亲戚朋友目前正面临着数据隐私和数据孤岛这两方面的问提,这了AI智能产业化的发展。

  在数据隐私方面,重视数据隐私和安全已成为世界性的趋势,去年5月欧盟“数据隐私条例”(General Data Protection Regulation,PR)即是对人工智能传统的数据防止模式提出了新的挑战。再换成人工智能训练时所还要的数据会涉及到可是领域,不同的公司之间,甚至是同一个公司的不同部门之间数据无法流通,这就形成了一个个“数据孤岛”。

  如可在满足数据隐私、安全和监管要求的前提下,愿意工智能系统能不能更加高效、准确的共同使用所他们 的数据,是当前人工智能发展的一个重要课题。联邦学习(Federated Learning)是四种 新兴的人工智能基础技术,在 2016 年由谷歌最先提出;此后,国际人工智能专家、微众银行首席人工智能官杨强教授的带领下首次提出了“联邦迁移学习”,并通过领衔联邦学习国际标准(IEEE标准)制定、开源自研联邦学习框架Federated AI Technology Enabler(简称FATE)等来推动联邦学习技术在行业中的落地。FATE是全球首个工业级别联邦学习框架,可能不能不能 让企业和机构在数据安全和数据隐私的前提下进行AI合作法律法律依据。哪几种举措让联邦学习有望成为下一代人工智能协同算法和合作法律法律依据网络的基础。

  在本文中,星云Clustar团队提出了一个名为FedMF的联邦学习下的安全矩阵分解框架,并使用真实的数据集进行测试,测试结果验证了FedMF的可行性。此外,星云Clustar的团队还讨论了FedMF在未来研究中应用的挑战。本文第一作者为科技大学计算机博士在读、星云Clustar算法工程师柴迪;大学助理教授、博士导师、星云Clustar首席AI科学家业(按姓氏拼音排序);第二作者为科技大学教授、星云Clustar创始人陈凯;第三作者为科技大学教授、微众银行首席人工智能官杨强。本文已发表在IJCAI 2019 Federated Machine Learning Workshop,IJCAI国际人工智能联合会议是全球人工智能领域最权威的学术会议。以下是由星云Clustar团队带来的《Secure Federated Matrix Factorization 》论文解读:

  本文围绕6个淬硬层 来讲述这篇论文,研究意义、先行概念、分布式矩阵分解、联邦矩阵分解、实验评估结果、下一步研究方向。

  以General Data Protection Regulation为代表,开始英文英文出台各类规章和法律条文,用来加强对隐私性数据的力度,学院机构以及工业企业也已经 开始英文英文关注隐私机器学习这些 技术领域。目前推荐系统是一个广受关注的研究课题,矩阵分解是常见的技术手段。然而,传统的矩阵分解推荐系统,会泄漏用户的评分信息、社会形态向量,由于分析亲戚亲戚朋友会真是泄漏这四种 信息不重要,已经 通过这四种 信息,恶意者可能不能不能 进行inference attack,也已经 从这四种 信息推断用户的性别、年龄、住址,而上方的哪几种信息都属于非常隐私的数据。

  目前针对类式问提,主要有2中防止方案:Obfuscation-based和Full-Homomorphic encryption-based。前者主要采用的法律法律依据是通过将用户的原始偏好数据进行混淆后,再发送到中央服务器,以实现四种 程度上的隐私。显而易见的是,这些 方由于分析预测精度的损失。为了预测精度,Full-Homomorphic encryption-based法律法律依据引入了一个第三方的私密服务提供商,然而这些 方增大系统实现难度,共同类式私密服务提供商的可靠性难以保障,一旦亲戚亲戚朋友与推荐服务节点地处不正当合作法律法律依据关系,那对用户来说,任何信息都毫无隐私可言。先行概念

  在正式介绍亲戚亲戚朋友的法律法律依据前,首先还要了解一个概念:Horizontal Federated Learning:用户的社会形态空间相同,然而用户群体不同。类式问提下,亲戚亲戚朋友一般,用户是诚实的,系统的目标是用户的隐私,免于受到诚实但好奇的服务器的。Homomorphic Encryption:四种 仅享有数据防止权,但不具备数据访问权的法律法律依据。换句话说,这些 法律法律依据允许任何第三方对由于分析加密过的数据进行运算,而不可能不能不能 在运算前对数据进行解密。

  在矩阵分解推荐系统中,亲戚亲戚朋友通常会拿到一个稀缺的用户评分矩阵 X,而亲戚亲戚朋友的任务是通过计算出user profile 矩阵U和item profile矩阵V,来将X中的空缺信息补全。一般来说,S(Stochastic Gradient Descent,随机梯度下降)是用来防止矩阵分解的主流法律法律依据。具体loss function和updating formula的定义如图所示。

  显而易见的,愿意用户的隐私,已经 将服务器与用户的数据进行隔离,防止服务器对用户数据的直接访问,可是亲戚亲戚朋友希望用户可能不能不能 把我所他们 的数据保留在本地。基于此,亲戚亲戚朋友设计了一个分布式的矩阵分解系统,在这些 系统中,所有的评分数据都掌握在用户肩头。一个全局的item profile矩阵为所有用户提供一个本地的update,共同用户由于分析把gradient传回给服务器,用来更新item profile。总结来说,服务器只会收到用户的gradient,太少再收到用户的任何评分信息。这样 看来,亲戚亲戚朋友的任务目标就实现了,已经 让亲戚亲戚朋友再思考一个问提,传输gradient就真的能保障用户隐私了吗?

  由于分析已知任意一个连续step的gradients,已知user profile的更新公式,亲戚亲戚朋友可能不能不能 求得一个多元高阶方程组7、8、9。求解这些 方程组的过程比较比较复杂,亲戚亲戚朋友在这里不对求解过程做太少描述,仅仅把结果展示在途中。在等式24中,u是唯一的未知量,已经 亲戚亲戚朋友已知u一定地处一个实数解。亲戚亲戚朋友可能不能不能 利用一些迭代法律法律依据(比如牛顿法)来求得一个数值解。当亲戚亲戚朋友算出u,评分信息r就可能不能不能 利用等式25求解出来。总结来说,亲戚亲戚朋友完后 证明了在矩阵分解场景下,gradient会泄漏用户的信息。这样亲戚亲戚朋友又该为社 防止这些 问提呢?联邦矩阵分解

  亲戚亲戚朋友的防止方案是对系统中加入homomorphic encryption,也已经 联邦矩阵分解系统。假设用户和服务器由于分析实现了对密钥的生成和埋点,其中服务器拥有公钥,用户拥有彼此相同的私钥,这样整个系统就可能不能不能 分为一个步骤:

  第一步,对参数进行初始化,参数包括item profile矩阵和user profile矩阵,与此共同服务器对item profile使用公钥进行加密;第二步,服务器提供加密后的item profile矩阵,供所有的用户来进行下载;第三步,用户进行本地的update,这些 步中可能不能不能 拆分成若干个环节:用户首先下载加密后的item profile矩阵,并将其解密成一个plaintext V,已经 用户会进行本地的update并计算gradient,最后用户会对gradient进行加密已经 将ciphertext发给服务器;接下来让亲戚亲戚朋友回到整体的架构,在第四步,服务器在接收到加密后的gradient完后 ,会根据附加的homomorphic encryption对item profile矩阵进行更新,请注意,服务器会提供给用户最新一次加密后的item profile用作下载,此时亲戚亲戚朋友就还要再一次回到第二步。整个系统通过重复第二、三、四步,会实现整个训练过程。

  一般来说,用户的评价信息由一个系数矩阵右眼皮跳测吉凶组成,这也就由于分析一个用户的评价真是常有限的。已经 ,一个不同的设置在亲戚亲戚朋友的系统中是implemented。这些 个设置会遵循系统的各个环节然而会在用户的上传环节由些许的不同。其中四种 设置叫做fulltext,在这些 设置中,用户会对所有的item回会上传gradient,当用户对某一个item不做出评价时,gradient为0;另外四种 设置叫做parttext,用户只会将评价后的item的gradient进行上传。这四种 法律法律依据有利有弊,parttext会泄漏哪几种item是用户打过分的,共同在计算速率单位单位上表现更好,而fulltext太少再泄漏用户的信息,已经 会还要更多的计算耗时。实验评估结果

  为了测试亲戚亲戚朋友设计的系统的可行性,亲戚亲戚朋友使用了一个MovieLens上一个真实的电影评分数据集,这些 数据集包括了5000K个评分信息,由610个用户对972一个电影的打分组成。这些 数据集也被用于可是一些的矩阵分解研究工作中。在图中的参数配置下,表1显示了每次迭代过程中,使用parttext法律法律依据和fulltext法律法律依据的耗时(一次迭代,是指所有610名用户上传的gradient被用来更新一次item profile矩阵)。无论是parttext还是fulltext,当item数量都在可是时,这四种 法律法律依据的耗时都比较少,共同亲戚亲戚朋友可能不能不能 观察到,耗回会随着item数量的增加而增长。与fulltext相比,parttext会占用更少的时间,然而parttext会泄漏一每项信息。值得一提的是,parttext会比fulltext提升了20倍的速率单位单位。为了验证亲戚亲戚朋友的系统不任何准确度,亲戚亲戚朋友在一个小规模的数据集上做了一系列实验。亲戚亲戚朋友采用RMSE来作为度量指标,参考图4和表2,标准矩阵分解和心邦矩阵分解的评估结果常相近的,区别缺乏0.3%。这样小的区别是由于分析在联邦矩阵分解中,为了比较复杂implementation,服务器会对itemvector进行更新,仅当所有的用户都上传了亲戚亲戚朋友的gradient。在一般的矩阵分解中,服务器会更新itemvector当任何用户提供了gradient。由于分析哪几种设置都相同励志的话 ,评估结果就会全版一致。

  图2和3显示了随着item数量的变化,用户和服务器的更新时间的比例的变化。从图可见,约95%的时间用于了服务器的更新,这就由于分析由于分析亲戚亲戚朋友增加了服务器的算力,由于分析提升homomorphic encryption法律法律依据,以降低密文计算的比较复杂度,则计算速率单位单位会有显著提升。这已经 亲戚亲戚朋友下一步要做的主要工作。

  最后,想和亲戚亲戚朋友介绍一下亲戚亲戚朋友未来研究工作的三个白主要方向:更加有效的homomorphic encryption。如上文提到的,约95%的时间都花在服务器update上,其中计算主要用于密文。由于分析亲戚亲戚朋友可能不能不能 提升homomorphic encryption的速率单位单位,亲戚亲戚朋友的系统表现会大幅提升。在fulltext和parttext中。实验由于分析显示parttext比fulltext速率单位单位更高,已经 parttext会用户对哪几种item进行了评分。这些 信息,即使这样确切的评分,由于分析依旧会泄漏用户信息[Yang et al., 2016]。或许亲戚亲戚朋友可能不能不能 要求用户上传更多的gradient,而不仅仅是评分后的items,但都在全版的items,这样 做可能不能不能 相比较fulltext增加系统速率单位单位,共同太少再泄漏评分的item。更多安全定义。目前亲戚亲戚朋友用了经典的horizontal联邦学习安全定义,这些 定义架设了参与方的诚实性,以及服务器的honest-but-curious。接下来亲戚亲戚朋友可能不能不能 去探索更具挑战的安全定义,比如如可去建立一个安全的系统以应对honest-but-curious的服务器,共同有一些用户是恶意的,甚至有一些参与方会与server联合谋策。以上已经 本篇论文的主要内容,感谢您的阅读。返回搜狐,查看更多