首页 > 科技未来 > 内容

数据合规要求将彻底变革企业数据架构

发布于:2024-06-21 编辑:匿名 来源:网络

编者按:自从2019年11月我国推出全球最严格的数据隐私保护法以来,经常听到律师朋友谈论数据合规咨询。

但更实际的问题是:新规对企业数字化意味着什么?本文分享了国外同类法规对企业数据治理的影响,并提出了数据合规治理的几个关键问题。

当修理汽车的成本超过其总价值时,汽车就被计算在内。

按照这种逻辑,设计数据隐私立法可能很快会刺激一些最强大的科技公司的数据管道和架构的整合。

这些数据架构是在更严格的用户隐私法出现之前开发的,例如欧盟的 GDPR (2019) 和加州消费者隐私法 (2019)。

因此,他们的基础设施在设计时并没有考虑到某些数据隐私保护设计原则,包括“k-anonymity / k-anonomity”和“差分隐私/差异隐私”。

但问题不仅仅是试图在现有算法之上实施数据隐私合规机制。

现有的数据架构已经变得如此复杂和笨重,以至于公司甚至可能不知道它们是否合规运行。

正如梅塔·工程师在一份泄露的内部文件中所说:“我们没有足够的控制力和能力来解释系统如何使用数据,因此我们无法自信地做出受控的政策改变或外部承诺。

” (当我们 Meta 被要求置评时,一位发言人向我们指出了该公司对泄露文件的最初回应,其中部分内容是:“这份文件从未意图表达我们为遵守世界各地数据隐私法规所做的所有努力过程,或充分解释我们目前如何监管和控制数据隐私。

”)随着政府越来越多地接受隐私设计(PbD Privacy by Design)立法,科技公司面临着一个选择:从头开始还是从头开始尝试。

一些计算机科学研究人员表示,重新开始是修复旧的、极其复杂且不合规的数据管道和架构的唯一方法,但对于科技公司来说,重新开始将需要工程师在不中断日常工作的情况下升级核心数据基础设施。

日行动——“开放边界”也无法解决问题,该文件是由梅塔·工程师 (Meta 工程师) 在 4 月底编写的。

在该文件中,工程团队建议对数据架构进行更改,以帮助 Meta 遵守支持“同意系统”的政府立法浪潮,这是 PbD 的核心原则之一。

印度、泰国、韩国、南非和埃及都在为这一领域的“有影响力的法规”做准备,该论文还预测美国联邦隐私法规将在 2020 年及以后出台。

此类立法通常要求 Meta 在收集广告数据之前获得用户同意。

梅塔·工程师认为“我们挑战的核心”是缺乏“封闭系统”。

他们说,一个封闭的系统可以让 Meta 枚举和控制所有传入的数据流。

工程师将此与十多年来一直成为该公司文化一部分的“开放边界”制度形成鲜明对比。

工程师表示,Meta 的系统变得越来越复杂且难以追踪,并引用了从大约 1,000 个数据表中提取的单个特征(“user_home_city_moved”)的例子。

密歇根大学计算机科学与工程助理教授 Nikola Banovic 告诉我们:“这些是巨大的数据管道,将大量数据输入到许多不同类型的算法中。

” “因为从一开始就没有考虑过,现在分解这些类型的数据架构变得越来越困难。

” Nikola Banovic 表示,泄露的文件显示了 Meta 内部团队试图彻底改革在一个一切都是公平竞争环境的时代设计的系统的挫败感。

他指出,数据隐私社会团体现在正在迫使公司围绕最终用户设计系统。

巴诺维奇谈到这一转变并不容易。

他补充道,“虽然从技术角度来看可以增强用户隐私,但在线行为广告从根本上与这一目标相冲突。

”哈纳表示,跟踪如此规模的数据流Habib,卡内基梅隆大学博士后研究员 这些挑战并不是 Meta 所独有的,“我确信像 Google 和 Twitter 这样的大型科技巨头——他们都因为业务规模而面临这个问题,”她告诉我们。

Habib 指出,大多数最大的科技公司都面临 GDPR 罚款。

研究人员对如何使现有算法更加保护用户隐私有深入的了解。

确保数据得到充分汇总,以便无法通过家乡和就业等因素的组合来识别任何个人。

“差异隐私”是一个已经研究了十多年的标准,它保证观察算法输出的人无法知道它是否包含来自特定个人的数据。

工程师多年来一直在研究、应用并偶尔推进这些隐私标准。

例如,谷歌去年在 Chrome 中实施了差异隐私匿名化,此后一直致力于将其扩展到谷歌地图和 Google Assistant。

2017年,Meta实现了“差异隐私”合规性,并允许学者访问用户数据以评估社交媒体对选举的影响。

苹果在 2019 年发表了一篇深入的研究论文,描述了其将差异隐私应用于表情符号推荐和搜索提示等功能。

如果你有 10 件事要做,并且你有资源花在三件事上,你会选择哪件事?但一些消息人士称,问题在于规模和“需求蔓延”,而不仅仅是技术。

“按照规定,当消费者不真正了解自己(数据隐私)时,他们的软件/系统会提示消费者有关数据隐私的提示和提醒。

但这些互联网公司又如何控制自己的隐私相关数据呢?目前还不清楚,”哈比卜说。

数据治理初创公司 Privacera 的首席执行官兼联合创始人 Balaji Ganesan 表示,公司通常无法了解数据的使用和存储方式。

Ganesan 告诉我们,数据科学家经常复制数据而不将其传达给更广泛的组织。

因此,当客户随后要求删除他们的数据时(因为他们在 PbD 框架下的权利),大型科技公司甚至可能不知道该怎么办。

“真正的挑战是了解用户的私人数据在哪里,”加内桑说。

密歇根大学计算机科学与工程候选人 Jane Im 博士表示,为了遵守用户隐私法规,公司需要从头开始构建数据架构和收集管道。

“如果他们真的想遵守,他们应该限制收集的数据量。

”Im 博士告诉我们。

我补充说,Facebook 和其他公司习惯于在其业务中使用“大量数据”。

“Facebook 重新训练模型是否可行?”她大声问道,如果有机会,用户会同意“追踪大量用户的行为,包括站外行为”。

哈比卜说:“由于这些隐私法规是在这些系统建成后引入的,因此很难对现有系统进行改造以匹配这些新的数据隐私法,这些法律非常全面,而且似乎符合人们对数字隐私的实际需求。

”保护隐私的代价是什么?对隐私有利的事情往往对企业和企业不利,但与该领域的许多事情一样,结果取决于“我们应该”如何实施。

数据的准确性也取决于上下文,这一点不要感到惊讶,”密歇根大学计算机科学与工程助理教授 Ben Fish 告诉我们,“但不能保证隐私技术会让系统变得更糟——它们确实可以。

让系统变得更好。

”在泄露的文件中,梅塔·工程师表示,解决隐私挑战将“需要对 AD 和我们的基础设施团队进行额外的多年投资,以控制我们的系统如何收集、处理和提取数据。

”作者估计,这项工作将需要为相关项目分配大约 1,000 年的工程时间。

Meta 的文档显示了重新设计系统以使其更符合隐私要求将需要多么密集的资源。

分配这些资源显然成本高昂,因此监管机构面临的挑战是对违规者进行足够高的处罚,以将隐私权置于产品设计和实施的优先级列表中。

加内桑表示,高管们必须在将资源分配给隐私计划和其他业务优先事项之间做出选择。

如果你可以把钱花在三件事上,你会选择哪一件?”加内桑还表示,投资于优先考虑用户隐私的数据处理的意愿处于最低水平。

数据合规要求将彻底变革企业数据架构

一些消息人士表示,他们认为从开放系统向封闭系统的转变只是第一步,这使投资计算更加复杂。

“即使关于数据隐私控制应该放在平台上的什么位置,以便它们是可发现的和可发现的——以便人们知道他们实际上可以合规——这个问题仍然没有现成的解决方案。

研究主题,更不用说采取什么步骤来创建这些控制用户数据的海量数据架构和管道,”Banovic 说。

然后,我们看看消费者方面:“我们需要对用户进行更多教育,这可能会导致更多的集体行动,”Im 说。

根据她引用的几篇研究论文,大多数社交媒体用户不了解在线行为广告商业模式收集他们的数据以获取利润的程度。

“这可以追溯到媒体道德的基本原则,”林说。

解释。

数据合规要求将彻底变革企业数据架构

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 外汇局:2020年末我国银行业对外金融资产13724亿美元

    外汇局:2020年末我国银行业对外金融资产13724亿美元

    外汇局数据显示,年末我国银行业对外金融资产400美元万元,对外负债7亿美元,对外负债净额1亿美元,其中人民币负债净额1亿美元,外币净资产1亿美元。

    06-17

  • 嘉裕基金-嘉裕基金及所投企业在

    嘉裕基金-嘉裕基金及所投企业在

    春节期间驰援湖北。 新型冠状病毒肺炎疫情形势严峻,全国上下齐心协力抗击疫情。 除武汉市外,周边城市疫情发展迅速,医疗机构防护物资紧缺。 嘉裕基金及所投资企业迅速反应,利用自身行业资源和平台优势,积极调配财力、物力,协调物资供应,为疫情防控提供及时行动支持。 安

    06-18

  • 潮流配饰品牌“MYOMY”获梅花创投领投近千万天使轮融资

    潮流配饰品牌“MYOMY”获梅花创投领投近千万天使轮融资

    潮流配饰品牌“MYOMY”近日完成近千万人民币天使轮融资,由梅花创投领投。 蓝海众人纷纷效仿。 本轮融资将主要用于产品线扩张和供应链建设。 MYOMY于今年2月正式进军潮流配饰赛道,主打高性价比太阳镜及相关眼镜配饰,其中Dewu为主打。 作为新兴电商平台,据36氪数据,得物去

    06-17

  • 瑞幸有联名牌治饥渴,茅台有药

    瑞幸有联名牌治饥渴,茅台有药

    瑞幸与茅台的联名成功打造了一场全民盛宴。 9月5日上午,瑞幸在微博公布了这场盛宴的结果:与茅台联合推出的“酱拿铁”首日销量突破1万杯,单品首日销量破亿。 元。 日前,“酱拿铁”在瑞幸全国门店上线。 一个是白酒行业的老板;另一个是咖啡界的巨头:好酒和咖啡都是故事;

    06-18

  • 坚果投影仪助力昆仑红星在中国冰球锦标赛上战胜俄罗斯劲旅取得两连胜

    坚果投影仪助力昆仑红星在中国冰球锦标赛上战胜俄罗斯劲旅取得两连胜

    9月20日,中国联通集团公司联合vivo召开“中国联通&vivo聚焦城市专项工作全国启动会”在济南。 双方就本项目发表了意见。 对本次会议高度重视,中国联通市场部及实体渠道部温宁瑞总经理、vivo移动通信有限公司全球副总裁倪旭东出席会议。 除省分公司营销部负责终端和渠道的副

    06-18

  • 短剧的火能否带动知乎短篇小说的升温?

    短剧的火能否带动知乎短篇小说的升温?

    春江水一夜温热。 短剧创作者制片人陈佳(化名)敏锐地意识到知乎可能成为挖掘故事的下一个富矿。 短剧的特点是情节简单、节奏快、反转多、刺激密集。 知乎上的短篇小说大多篇幅较短,想象力丰富,情节曲折,冲突激烈,追求不断激发读者情感的“沉浸式阅读体验”。 就连题材和

    06-17

  • 一人即可获赠300元优惠券一张!拼多多双11百亿补贴有点甜

    一人即可获赠300元优惠券一张!拼多多双11百亿补贴有点甜

    啥?拼多多百亿补贴要发优惠券了吗?难道是平常的购物节套路,平台优惠券叠在品牌优惠券上,会员优惠券叠在会员优惠券上,购物金是前一小时15折优惠叠起来的?乍一看都是数字,无法计算清楚?当然不是!确实有一件事:11月10日19:00至11月11日24:00限时活动期间,拼多多百亿补

    06-21

  • 芯微半导体完成首轮融资,华登国际领投,

    芯微半导体完成首轮融资,华登国际领投,

    投资社区(ID:pedaily)12月23日消息,据集微网消息,芯微半导体宣布完成公司首轮融资。 本轮融资由华登国际领投,产业基金及拥有产业资源的星光资本等机构共同参与。 据悉,本轮融资将主要用于公司芯片及平台解决方案的研发。 公司产品预计将于2020年推出并量产。 芯碁微半

    06-18

  • 崔永元是不是学到了不好的东西?他拥有10多家公司,他的商场也搞诈骗,一只鸡卖300块钱

    崔永元是不是学到了不好的东西?他拥有10多家公司,他的商场也搞诈骗,一只鸡卖300块钱

    50多岁的崔永元更燃起了更大的斗志。 2月20日,他宣布成立“山楂(上海)食品有限公司”,推出诚信食品,充分尊重消费者的知情权和选择权。 近日,他上线了一个生鲜电商网站,名为“普谷堂商城”。 网站所有者为“普谷堂崔永源饮食文化交流俱乐部有限公司”。 这就是崔永元在

    06-18

  • 乐禾获4亿元C轮投资,美团龙珠、鼎辉领投

    乐禾获4亿元C轮投资,美团龙珠、鼎辉领投

    据投资界5月11日消息,乐禾食品集团有限公司(以下简称“乐禾”)中国一站式食品供应服务提供商,宣布完成4亿元人民币C轮融资。 本轮融资由美团龙珠资本、鼎晖投资联合领投,现有股东和致投资跟投。 冲盈资本担任本轮融资独家投资方。 此前,美团龙珠一期基金领投了乐禾的B轮

    06-17

  • “智造遂昌”2023Create@阿里巴巴神战工业创新大赛数字经济赛道分站赛圆满结束

    “智造遂昌”2023Create@阿里巴巴神战工业创新大赛数字经济赛道分站赛圆满结束

    安准新川科技、怀美科技、凤凰涅槃科技、鸽巢科技、友玩科技、锐达物联网、Metavis软件、锐健医疗、百恩智电子科技、大洲能源、九章智能、诺亚木木机器人、数易智能、中信信息科技、上元智行、新21优秀项目包括第三数码科技、云图数码视觉科技、宗茂启明科技、智天下人工智能

    06-18

  • 对话灵雀云:云原生立国元年,Kubernetes精心策划了一切

    对话灵雀云:云原生立国元年,Kubernetes精心策划了一切

    过去的十年是云计算的十年,而创业公司灵雀云就是潮流的一角。 随着云原生走向中心位置,灵雀云这样的公司也逐渐逼近核心区域。 云原生的核心在于应用。 如何让应用开发更便捷、维护更简单?云计算能否带来更多的业务能力,而不仅仅是资源赋能,成为现阶段云公司重点关注的问

    06-18