先进光子器件工程创新平台建成
06-17
图片来源：阿里云官图雷锋网记者：本文来自数豆科技创始人宋一民（Ethan），数豆科技以数据科学与工程为基础、密码学（多方安全计算、差分隐私等）、联邦学习等技术体系帮助企业进行安全私密的数据协作。
Ethan创立数豆科技之前，曾在Facebook Ads工作。
作为技术负责人，他从无到有地领导了 Facebook Ads 与多家财富 500 强公司之间基于隐私保护的数据协作项目，后来在数据隐私小组工作。
开展了多项数据隐私和安全工作。
Ethan认为，数据隐私的保护贯穿于数据流通过程，是一种动态的数据安全；数据隐私保护和价值挖掘并不矛盾。
从长远来看，数据隐私保护的实施将促进新的数据使用范式的诞生，而规范数据使用可以促进数据流通更加顺畅，在收集更多数据的基础上迎来下一个价值挖掘的爆发点，并且推动AI基础设施革命。
但隐私计算行业仍处于早期阶段。
Ethan在此分享了他对数据使用的思考以及平衡隐私保护和价值挖掘的常见技术实践。
以下是分享内容的简要概述： 数据流动的合理性和必然性 流链中的数据分类 数据隐私与价值挖掘的平衡：将控制权交给数据所有者 如何将控制权交给数据所有者？数据控制管理的技术实践 数据流动性 在数据从产生的整个生命周期中，可能会在多个机构或节点之间流动。
节点之间流动的过程使得数据形成了一个网络，就像很多企业内部有数据流动的数据管道一样，在更宏观的层面上也存在类似的数据流动。
客观现实中，数据流动有其合理性和必然性。
一方面，对于任何个体来说，他的数据都会在不同的场景中产生和收集。
例如，使用打车软件会生成位置移动信息、入住酒店会生成住宿信息、在淘宝上买东西会生成购物信息等等。
很难想象一个实体会拥有这方面的所有数据。
个人;另一方面，数据挖掘过程中也存在专业问题。
在不同的场景下，根据不同的需求，挖矿可能很难完全由同一实体完成。
因此，为了充分挖掘数据的价值，往往需要尽可能地通过多个节点聚合、处理和使用多个数据源。
从产业角度，我们常将互联网与人工智能的关系形容为“连接产生数据，数据产生智能”。
连接和智能决策的过程实际上是数据流动、采集和价值挖掘的过程。
更丰富的数据维度和更好的数据覆盖率对于模型的质量也至关重要。
数据是人工智能的原材料，其流动性也是人工智能更好发挥价值的基石。
数据在流动 数据的流动是合理的、必要的，但在实践中通常如何对流动过程中的数据进行分类和定位呢？数据在经过不同节点的过程中，会在不同的上下文中被提及：比如数据的采集、存储、使用，以及前述行为的相应传递。
采集主要对应于原始数据的采集或者形成结构化数据的过程，例如将用户对应用程序的操作日志发送回服务器，或者总结用户产生的评论。
存储和使用通常涉及按字面意思保存或处理数据。
为了借助外部力量聚合数据或挖掘数据，可能会涉及将这些数据的存储或使用权转让给其他方的过程。
另外，考虑到这些与个人数据相关的不同语境，普通用户在签署数据授权时还可以额外关注授权协议是否明确界定了这些不同的类别。
比如某个App本身不处理什么数据。
长期存储，且该存储权不会转让给除App本身以外的其他实体。
通常，收集或收集数据的一方称为第一方数据。
为了更好地用数据服务用户，第一方数据往往需要更多的授权权限。
例如，在数据使用权方面，可能需要使用数据来更好地匹配个人用户的信息流。
这可能包括使用原始数据（例如用户喜欢哪些帖子）进行优化，也可能包含从一个用户到另一个用户或一组用户的信息的使用。
如前所述，一个实体从头到尾闭环能够完成的事情非常有限，因此这将涉及将用户的一些信息（可能是原始信息，可能是聚合或概括的信息）传输到其他实体以协助完成。
健康）状况。
这些源自第一方数据的实体称为第二方数据。
受限于数据本身的商业价值或者相应的法律或公关风险考虑，第一方在数据传输过程中会希望控制和减少数据本身的泄露。
一般来说，协议可能会规定数据的使用范围、数据可以存储的时间等。
从技术角度来看，可能是去掉个人识别标签，做一些预处理，比如泛化（改变给定的位置）从特定位置到某个圈内）等，稍后我们将对这些方法进行简单的实现。
描述。
除了第二方数据之外，还会有一些实体出于某些特定目的聚合大量原始数据。
目的可能是进行某些统计分析研究（比如大家的存贷比，比如大家的贷存比）。
年龄分布等），也可能是一些具体的研究（如某类药物的安全使用范围）等。
这样的实体可以称为第三方数据。
除了这三个方面的数据之外，还有公开数据这一类。
公共数据的定义很难明确，但一般认为是任何一方可以通过爬虫从互联网上直接获取的数据（无需数据所有者的直接授权）。
但现实中，判断公共数据的流通是否有风险，往往与公共数据的获取方如何看待这种获取行为有关。
需要注意的是，这里所指的公共数据的接收者并不一定是数据的所有者，因此除了谈论数据的收集、存储和使用之外，它还会出现在另一个语境中：披露。
即，第一、第二或第三方实体是否被授权披露数据。
价值挖掘 V.S.隐私保护——数据所有者的掌控数据自由流动中的价值挖掘可以让人工智能更好地发挥其价值，但同时数据流动过程中不受控制的应用也会带来数据隐私侵犯的隐患。
。
近期，多家金融大数据公司被调查。
从数据来源来看，重要原因之一是此类公司的爬虫未经授权存储访问的数据或超出约定的使用范围。
例如，如果有一款App声称可以帮助用户管理多个金融账户，并综合呈现个人现金流等信息，那么为了帮助该App呈现这些信息，用户需要提供这些金融账户的访问权限。
但如果在这个过程中，App捕获并存储了个人银行账户中的所有信息，并将从这些信息中提取的标签出售给第三方或使用这些标签来开展新业务。
由于这些过程没有告知用户并获得许可，因此是对数据使用权的滥用。
从目前的工程实践来看，解决挖掘与隐私困境的最佳方案或许是赋予数据所有者控制权，包括数据采集的授权以及采集后存储和使用的控制。
普遍采用的国际惯例或法规（例如GDPR）倾向于为个人数据和数据的各种上下文提供准确的授权。
例如，GDPR 将要求第一方数据来阐明“它收集了哪些数据”。
一旦用户明确了这一点，他们就应该有权选择“保留哪些数据、删除哪些数据”；在此基础上，例如，对数据处理方式要求明确的查询和授权，“例如通过采集用户喜欢的帖子的内容和类型来了解用户的兴趣爱好”；这些兴趣爱好作为标签，虽然不是原始数据，仍然需要用户进行处理。
一一明确授权。
当我们通过赋予数据所有者控制权来平衡数据价值挖掘和隐私保护时，实践中会出现一个新的挑战——如何在不侵犯个人隐私的情况下获得个人授权。
例如，在获得兴趣爱好标签的授权时，任何用户都不可能预先授权几乎无限数量的兴趣爱好。
一般的流程是数据挖掘方首先获取某个Tag，然后针对这个Tag进行查询。
我们在过去的工作实践中看到的最好的处理方法是，首先将多达三六百万个常用爱好制作一个知识图谱，并梳理这些爱好的包含关系或相关性；班级爱好是通过找到包含关系中包含当前爱好的更一般类型的爱好并一站式询问来完成的。
即使这样做了，虽然消耗了巨大的资源，门槛也很高，但也很难说是完美的。
因此，大多数企业在处理GDPR或相关合规问题时面临巨大挑战的事实也不难理解。
。
如何将控制权交给数据所有者？数据所有者控制的核心意义是让每个所有者在挖掘和保护之间选择自己的平衡。
为了赋予所有者控制权，第一步是讨论谁是数据的所有者。
一般来说，对于个人数据来说，无论是个人身份信息、生物识别信息等描述个体的数据，还是用户的行为信息（例如访问过哪些应用、在应用中做了哪些事情）或者通过这些行为来识别用户- 通过信息获得的新标签等生成的数据将被视为该人本人拥有。
特别是对于生成的标签数据，在某些情况下，人们认为，因为标签是数据收集者学习的，所以所有者就是收集者，这种想法不应该被广泛认可。
围绕所有者即数据产生的个人这一思路，在整个数据生命周期链中存在着第一方数据的控制和第二方、第三方的控制等不同的问题。
对于第一方来说，既然是数据的收集者，那么涉及的方面也最多。
Facebook在2018年的F8上宣布了一项名为Clear History的功能。
其中描述的愿景基本上可以理解为让用户在收集、存储和使用三个方面给予控制权。
首先，用户会看到Facebook从哪些合作伙伴渠道获得了什么样的用户数据（可见收集），然后让用户决定是否可以用于广告（使用控制），然后让用户立即删除这些数据。
操作（存储控制）。
这个功能听起来很简单，但实际上，对于一个正在运行的组织来说，它涉及到识别所有数据源，识别复杂数据流中的各类数据，以及控制某个数据的所有存储位置。
多方面的能力。
对于小型组织来说，资源和投入产出比肯定是不够的。
对于大型组织来说，由于内部数据流过于复杂，为了实现它，往往需要重新设计和实施整个系统，成本不言而喻。
。
例如，为了实现Clear History：首先，为了在数万PB的数据仓库甚至更大的冷存储中找到需要控制的数据，需要对整个数据集做语义识别（很多时候因为表单的schema不统一，所以直接利用元数据很难准确判断数据类型）。
这个过程类似于标记数据。
为了覆盖更多的存储点，需要根据获得的数据标签对数据流进行端到端的识别。
当所有存储点都被识别出来后，为了在功能上实现实时删除，需要配合基于重新定义数据结构的高吞吐量的中央管理系统。
这个过程协调了很多内部部门，消耗了大量资源，历时一年多。
不难看出，企业之间的数据流动也存在潜在的类似挑战。
除了第一方数据之外，第二方授权的过程大概可以分为两种情况：第一次授权的目的可能是辅助数据挖掘，第二次授权的目的可能是辅助数据变现。
第一种情况，一般只授权使用，不授权进一步转让，严格控制存储（控制在使用所需的存储范围内）。
例如，用于对消费者行为进行建模的第二方数据通常包括两个时间点：过去两周和过去两个月。
超过两个月的消费者行为的价值通常是微乎其微的。
那么在授权存储的时候，一般会限制存储时间不超过2个月（加上一个灰色期，比如24小时）。
在数据使用授权方面，一般来说，如果严格限制数据挖掘的目标和使用场景，一方面可以在竞争法上保护授权者的权益，另一方面也有利于数据挖掘的使用。
还可以间接保护数据所有者的个人隐私。
从保护个人隐私的角度来看，假设授权的目的是计算某些用户的还款风险，帮助授权人决定是否放贷，如果不限制挖矿的目的，则只能限制为合作伙伴之间的信用报告。
，同样的数据可能会被第二方在与其他合作伙伴的营销场景中使用，作为判断个人现金流的因素。
对于第二种情况（数据变现），有不同的类型，比如通过特定场景或产品变现、通过卖标签变现等。
数据变现的各种方式我这里就不多说了，但是我想强调的是，变现过程中需要关注的是原始数据在第二方或者其他地方的沉淀。
因为虽然一般授权方会限制原始数据的传输（从而保护个人隐私），但他们仍然会允许处理后的数据流通或通过某种场景实现目标。
无论采用哪种方法输出结果，都很难完全避免数据信息的沉淀。
大量的降水会间接导致原始数据的转移。
举一个数据泛化中降水结果的极端例子，假设我们允许对某个人的共同活动区域输出更大半径的圆。
多个这样的半径圆可以逐渐缩小这个人的活动区域。
判断。
公共数据与上述最大的区别在于，既然已经公开，只要获得数据所有者的公开授权，以后公共数据的收集者就不会再一一授权。
收集者获取公共数据的方式一般是通过爬虫等主动收集，有一定的收集和清理/组织成本。
这里有趣的一点是，有些数据并不是严格公开的数据，或者只是想在特定范围内公开。
例如，社区运营者可能只希望社区的用户生成内容（UGC）在社区内公开，而不希望在互联网上传播。
这种愿望的典型表达类似于Robots排除标准，主要用于向爬虫声明网站上的哪些内容不能被读取。
另外，公共数据只能读取而不能存储，例如社交网站中的好友列表。
将好友列表存储并对比后，可以获得“哪些好友取消了对我的关注”等信息。
还有一个可能侵犯他人个人隐私的问题。
一般情况下，为了防止此类跨境抓取行为，企业可能会组织自己的反抓取系统，为协议范围外的数据控制提供保障。
综上所述，我们可以看到，赋予数据控制权长期以来面临着诸多挑战。
除了第一方数据之外，随着数据链的深入，这个挑战也会逐渐增加。
这种现象很大程度上是由于数据作为抽象而存在的事实。
与可以复制的普通项目不同，复制数据的控制权将被重新定义和赋予。
因此，在数据流通过程中，对数据的各种属性进行单独管理和授权，最大限度地减少数据重复的发生，可以大大降低整个链条的管理控制成本。
需要研究的不是如何将数据链条切分成几段，而是如何更好地完成链条各个环节数据控制的精细化管理。
行业新机遇——数据流通链控制管理的技术实践如前所述，解决数据流通链赋予数据控制权的主要途径是针对不同类型的数据采取不同的方法，从宏观上减少数据的产生。
看法。
使用时，会发生复制。
那么，在具体实践中，个人数据隐私保护的宏观分类要素和技术手段有哪些呢？从宏观角度来看，数据可以分为两类：个人识别信息（PII）和用户特征值。
PII是指能够在公共环境中高精度定位个人的数据，例如美国的SSN、国内身份证号码、电子邮件地址，甚至可能是电话号码。
用户特征值基本上可以理解为除了PII之外的围绕个人行为特征或个人特征的其他数据（例如生物特征数据、人口统计数据等）。
用户特征值往往是数据挖掘产生的价值对象，PII起到了统一多个特征值的作用。
PII形成的图谱是数据链上企业之间数据融合的桥梁。
可见，对PII的控制是形成数据链控制的关键。
如果没有 PII，很难集成和使用两个数据集。
PII 的控制通常称为去识别化。
目前常见的方法从弱到强有数据脱敏、匿名化和k-匿名化三种。
脱敏基本上就是将身份证的一部分隐藏起来，在接近身份识别的同时尽可能保护数据的隐私，类似于一般数据处理中的泛化技术。
撇开脱敏过程中信息的丢失不谈，这种方法显然缺乏足够的安全性。
因为只要将这样的屏蔽数据进行存储和沉淀，最终就可以推导出原始数据的内容，所以在隐私要求比较高的环境中不再使用脱敏的方法。
匿名是指修改或删除个人身份信息，隐藏数据与个人之间的对应关系。
一般数据源会自行生成并管理这些对应关系。
由于个人身份信息完全隐藏，安全性会比直接对原始PII进行脱敏高得多。
同时，对于使用PII关联数据集的属性，还可以修改内部对应关系，组织使用匿名数据进行外部数据集关联操作。
在匿名的基础上，k-匿名提出个人身份识别不限于PII。
任何数据集合都可以在一定程度上识别一个人。
这里的k指的是利用这个数据集进行身份识别时识别人的能力。
人群被缩减为一组数字 k。
k-匿名是当前通用标准中较高的类别。
k值越高，隐私保护效果越好。
广泛应用于Google、Facebook的内部数据管理。
用户特征价值数据主要体现在价值挖掘上，所采用的方法可以分为两类：利用原始数据和利用统计数据。
例如，某人在特定时间和地点进行了某种购买可以被视为原始数据，然后某人在过去一天内进行了 3 次购买可以被视为统计数据。
很多时候，避免直接使用原始数据并不会影响价值挖掘，并且可以更好地保护原始数据。
同样，在链上传输用户特征数据时使用的控制方法也有很多种。
常见的包括泛化（比如给出一个范围而不是具体的值）、统计（如上所述）、加密（比如同态加密）、差分隐私（比如给定的值是在原始值上添加的噪声） 、合成（例如，将原始数据转换为表示所需知识的模型或通过模型生成与原始数据不同的新数据）等。
涉及多方数据的安全计算环境的方法可以分为多种的观点。
例如，从是否存在可信第三方（或者信任第三方的成本有多少）的角度来看，使用GC或OT实现的MPC可以实现完全没有可信第三方的环境，并且基于一定的同态加密设计或可信硬件环境一般都严重依赖第三方的可信度，可信硬件环境还存在信任硬件产品供应商的额外信任成本。
除了上述两类（MPC和可信硬件）之外，还有很多其他方法可以在联合操作中保护原始数据，包括合成数据（例如，通过将原始数据转换为模型），例如差分隐私（明智的选择对原始数据添加噪声以免过多干扰运算本身同时保护原始数据的敏感性），以及传统的泛化（只传输包含原始数据的范围）等多种方式。
实际应用中，一般会考虑数据泄露的危害程度（例如PII数据泄露会引发连锁数据泄露反应）、数据是否容易沉淀（例如时间敏感度高的数据）相对不易沉淀）等。
在达到安全级别的前提下，应尽可能保持信息的完整性（综合、分化、泛化都会不同程度地丢失原始信息），同时提高整个系统的运行效率。
在介绍工程实践中技术类型的同时，我们也希望澄清实践中遇到的两个常见误解：数据隐私解决方案并不等同于单一的密码学或技术点创新，而是结合了数据科学、密码学、联邦技术的综合项目。
学习和云计算通常采用技术组合的形式；其次，对于数据隐私越来越受到关注的MPC（多方安全计算）来说，近年来MPC在数学原理上并没有特别特别。
大的根本性改变更多的是工程上的突破和进步。
数据的流动性有其必然性和合理性，也是人工智能在行业中更好发挥智能的基础。
然而，数据价值挖掘带来便利的同时，也面临着隐私侵犯的隐患。
从目前的实践来看，赋予数据所有者控制权是平衡数据价值挖掘和隐私保护的最有效方式；并且流动的数据链复杂，通常需要在数据流通过程中传递数据的各种属性。
管理和授权分开，最大限度地减少数据重复，从而降低整个链条的管理控制成本。
数据流动过程中的隐私保护是动态的、过程中的数据安全和隐私，相应的技术实践也将带来新的产业和创新机会。
对于这个新兴行业，我们前期选择的解决方案也必须迎合市场阶段，逐步推广。
例如，Data Flow Technology的解决方案就是通过数据流控制来设计的。
数据所有者可以控制数据流为单向或双向。
，在实际环境中灵活应用。
数据隐私法规和价值挖掘是一个双向的螺旋式过程。
只有规范数据的使用，才能在收集更多数据的基础上迎来下一个价值挖掘的爆发点。
我们期待在未来十年创造出隐私法规驱动下的新的数据使用范式，推动AI数据基础设施革命，并能为之贡献一点点力量。
雷锋网特约文章未经授权禁止转载。
详情请参阅转载说明。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-17
06-17
06-17
06-17
06-18
06-17
06-18
最新文章
三只松鼠：门店扩张已全面暂停
Nvidia 已准备好“统治”AI
【创业24小时】2023年11月16日
【创业24小时】2022年10月20日
倒计时一天，浙江这座小镇要火了！
沃图网络获数千万A轮投资，加大投入海外网红营销SaaS平台建设
泰山天使基金部分退出拉手半年回报180倍
西格数据完成1000万元A+轮融资，国发创投领投