隐私计算之浅谈联邦学习

天翼云开发者社区
• 阅读 72

本文分享自天翼云开发者社区《隐私计算之浅谈联邦学习》 作者:l****n

一、背景 “数据孤岛”简单的讲,各组织都持有各自的数据,这些数据之间互有关系但又独立存储于各组织。出于安全性、合规性等方面考虑,各组织只能查询、使用己方数据,无法交换其它组织的数据。在联邦学习出现前,针对数据隐私保护的密码学已应用于本地数据机器学习,随着“数据孤岛”问题的浮现,联邦学习的概念出现并发展的日益成熟。

二、联邦学习的概念 联邦学习的术语最早是McMahan等提出的,即“我们把我们的方法称为联邦学习,因为学习任务是由一个松散的联邦参与设备(我们称之为客户端)来解决的,而这个联邦设备是由一个中央服务器来协调的”。在比较权威的论文中有关于它的进一步定义便于我们理解:

联邦学习是一种机器学习设置,在中央服务器或服务提供商的协调下,多个实体(客户端)协作解决机器学习问题。每个客户的原始数据都存储在本地,不进行交换和传输;作为替代,通过特定的中间运算结果的传输和聚合来达到机器学习模型训练的目标。

而根据数据的分布形式,联邦学习可以分为三种:纵向联邦学习、横向联邦学习和迁移学习。纵向联邦限定各个联邦成员提供的数据集样本有足够大的交集,特征具有互补性,模型参数分别存放于对应的联邦成员内,并通过联邦梯度下降等技术进行优化。横向联邦限定各个联邦成员提供的数据集特征含义相同、模型参数结构相同,并使用联邦平均等隐私保护技术生成联邦模型。迁移学习既不限定数据集的特征含义相同,也不需要样本有交集,是一种在相似任务上传播知识的方法。

三、解决“数据孤岛”问题的难点与联邦学习的优势 难点: 1、数据安全保护。将不同组织的数据共享,除了数据泄露问题,还要考虑数据投毒攻/击等。 2、数据传输速度与成本。 3、数据定价难。 优势: 1、安全性:通过引入密码算法和其它多方安全计算方案,保证了在多方交互过程中只用到交集部分,差集部分不会出现数据泄露。 2、无损性:采用的同态加密技术保证了各方原始数据不会被传输,且加密的数据具有可计算性。 3、公平性:保证了参与方的公平性,让各参与方在数据独立的条件下建立联合训练模型。

点赞
收藏
评论区
推荐文章
Wesley13 Wesley13
2年前
SAP PP顾问面试题及资料
SAPPP顾问面试试题及资料1。主数据组织架构•SAP中主要的组织架构有哪些?哪些用于PP的组织架构?•成本控制范围、公司代码、估价范围、工厂、库存地点之间的关系物料主数据•不同的物料主数据视图的作用?•你们公司用到了哪些视图,哪些视图主要用在PP模块?•物料主数据视图与组织架构之间有哪些联系?
隐私计算之多方安全计算(MPC,Secure Multi-Party Computation)
如今,组织在收集、存储敏感的个人信息以及在外部环境(例如云​​)中处理、共享个人信息时,越来越关注数据安全。这是遵守隐私法规的强需求:例如美国加利福尼亚州消费者隐私法(CCPA)、欧盟通用数据保护条例(GDPR)和世界各地的其他新兴法规,以及中国的《数安法》《个保法》等,都对安全处理敏感数据提出了要求。
全栈混合云综合架构方案研究和落地
本文分享自天翼云开发者社区《》,作者:yn(一)业务背景随着云服务的便利性日益被市场接受,企业客户越来越倾向采用公有云服务补充其现有的企业内部部署的数据中心和私有云基础架构的不足。因此,混合云成为云服务市场的重要发展趋势。广义上讲,混合云的形态可以包括云与
联邦GNN综述与经典算法介绍
联邦学习和GNN都是当前AI领域的研究热点。联邦学习的多个参与方可以在不泄露原始数据的情况下,安全合规地联合训练业务模型,目前已在诸多领域取得了较好的结果。GNN在应对非欧数据结构时通常有较好的表现,因为它不仅考虑节点本身的特征还考虑节点之间的链接关系及强度,在诸如:异常个体识别、链接预测、分子性质预测、地理拓扑图预测交通拥堵等领域均有不俗表现。
如何计算真实的数据库成本
本文分享自天翼云开发者社区《》作者:王乾在云计算占主导地位之前,计算数据库的成本是一个非常简单的等式:软件成本硬件成本数据库成本。如果你选择了一个开源产品,软件成本可能会消失。虽然云计算已经从根本上改变了我们使用和部署软件的方式,但仍有太多人在使用这种过
AF_XDP技术简介
本文分享自天翼云开发者社区@《》,作者:ln一.概述AFXDP是一项新增的,针对高性能数据包处理进行优化的地址族协议。本文档假设读者已经熟悉BPF和XDP。如果没有,可以参考开源Cilium项目在(http://cilium.readthedocs.io/
PostgreSQL:进程结构
本文分享自天翼云开发者社区@《》,作者:周平Postgresql是一个C/S架构的关系型数据库,由多个后台进程管理数据库,下面分别介绍一些这些进程postgresserverprocess一个服务器端进程,是所有进程的父进程。该进程管理数据库文件,接受客户
helloworld_40038029 helloworld_40038029
8个月前
Springboot3+微服务实战12306高性能售票系统
在现代社会中,数据是企业和组织运作的核心。这些数据可以是来自客户、销售、生产、供应链等方面的信息。但是,这些数据通常非常庞大且复杂。因此,组织需要将这些数据进行有效地分类和组织,以便更好地管理和分析。
云服务器比传统服务器更安全的原因与实现机制
随着互联网的普及和云计算技术的发展,越来越多的企业和组织选择使用云服务器来提供和存储数据。与传统服务器相比,云服务器在安全性方面具有诸多优势。本文将围绕云服务器比传统服务器更安全的原因,探讨其实现机制。
秦朗 秦朗
2星期前
【万门大学】数据结构与算法Python进阶班
//下仔のke:https://yeziit.cn/13764/数据结构是计算机存储、组织数据的方式,它关注的是数据的逻辑结构、物理结构以及数据之间关系的存储方式。精心选择的数据结构可以提高计算机程序的运行效率。数据结构可以分为线性结构和非线性结构。常见的
天翼云开发者社区
天翼云开发者社区
Lv1
天翼云是中国电信倾力打造的云服务品牌,致力于成为领先的云计算服务提供商。提供云主机、CDN、云电脑、大数据及AI等全线产品和场景化解决方案。
文章
451
粉丝
8
获赞
37