首页 > 科技未来 > 内容

数据合规要求将彻底变革企业数据架构

发布于:2024-06-21 编辑:匿名 来源:网络

编者按:自从2019年11月我国推出全球最严格的数据隐私保护法以来,经常听到律师朋友谈论数据合规咨询。

但更实际的问题是:新规对企业数字化意味着什么?本文分享了国外同类法规对企业数据治理的影响,并提出了数据合规治理的几个关键问题。

当修理汽车的成本超过其总价值时,汽车就被计算在内。

按照这种逻辑,设计数据隐私立法可能很快会刺激一些最强大的科技公司的数据管道和架构的整合。

这些数据架构是在更严格的用户隐私法出现之前开发的,例如欧盟的 GDPR (2019) 和加州消费者隐私法 (2019)。

因此,他们的基础设施在设计时并没有考虑到某些数据隐私保护设计原则,包括“k-anonymity / k-anonomity”和“差分隐私/差异隐私”。

但问题不仅仅是试图在现有算法之上实施数据隐私合规机制。

现有的数据架构已经变得如此复杂和笨重,以至于公司甚至可能不知道它们是否合规运行。

正如梅塔·工程师在一份泄露的内部文件中所说:“我们没有足够的控制力和能力来解释系统如何使用数据,因此我们无法自信地做出受控的政策改变或外部承诺。

” (当我们 Meta 被要求置评时,一位发言人向我们指出了该公司对泄露文件的最初回应,其中部分内容是:“这份文件从未意图表达我们为遵守世界各地数据隐私法规所做的所有努力过程,或充分解释我们目前如何监管和控制数据隐私。

”)随着政府越来越多地接受隐私设计(PbD Privacy by Design)立法,科技公司面临着一个选择:从头开始还是从头开始尝试。

一些计算机科学研究人员表示,重新开始是修复旧的、极其复杂且不合规的数据管道和架构的唯一方法,但对于科技公司来说,重新开始将需要工程师在不中断日常工作的情况下升级核心数据基础设施。

日行动——“开放边界”也无法解决问题,该文件是由梅塔·工程师 (Meta 工程师) 在 4 月底编写的。

在该文件中,工程团队建议对数据架构进行更改,以帮助 Meta 遵守支持“同意系统”的政府立法浪潮,这是 PbD 的核心原则之一。

印度、泰国、韩国、南非和埃及都在为这一领域的“有影响力的法规”做准备,该论文还预测美国联邦隐私法规将在 2020 年及以后出台。

此类立法通常要求 Meta 在收集广告数据之前获得用户同意。

梅塔·工程师认为“我们挑战的核心”是缺乏“封闭系统”。

他们说,一个封闭的系统可以让 Meta 枚举和控制所有传入的数据流。

工程师将此与十多年来一直成为该公司文化一部分的“开放边界”制度形成鲜明对比。

工程师表示,Meta 的系统变得越来越复杂且难以追踪,并引用了从大约 1,000 个数据表中提取的单个特征(“user_home_city_moved”)的例子。

密歇根大学计算机科学与工程助理教授 Nikola Banovic 告诉我们:“这些是巨大的数据管道,将大量数据输入到许多不同类型的算法中。

” “因为从一开始就没有考虑过,现在分解这些类型的数据架构变得越来越困难。

” Nikola Banovic 表示,泄露的文件显示了 Meta 内部团队试图彻底改革在一个一切都是公平竞争环境的时代设计的系统的挫败感。

他指出,数据隐私社会团体现在正在迫使公司围绕最终用户设计系统。

巴诺维奇谈到这一转变并不容易。

他补充道,“虽然从技术角度来看可以增强用户隐私,但在线行为广告从根本上与这一目标相冲突。

”哈纳表示,跟踪如此规模的数据流Habib,卡内基梅隆大学博士后研究员 这些挑战并不是 Meta 所独有的,“我确信像 Google 和 Twitter 这样的大型科技巨头——他们都因为业务规模而面临这个问题,”她告诉我们。

Habib 指出,大多数最大的科技公司都面临 GDPR 罚款。

研究人员对如何使现有算法更加保护用户隐私有深入的了解。

确保数据得到充分汇总,以便无法通过家乡和就业等因素的组合来识别任何个人。

“差异隐私”是一个已经研究了十多年的标准,它保证观察算法输出的人无法知道它是否包含来自特定个人的数据。

工程师多年来一直在研究、应用并偶尔推进这些隐私标准。

例如,谷歌去年在 Chrome 中实施了差异隐私匿名化,此后一直致力于将其扩展到谷歌地图和 Google Assistant。

2017年,Meta实现了“差异隐私”合规性,并允许学者访问用户数据以评估社交媒体对选举的影响。

苹果在 2019 年发表了一篇深入的研究论文,描述了其将差异隐私应用于表情符号推荐和搜索提示等功能。

如果你有 10 件事要做,并且你有资源花在三件事上,你会选择哪件事?但一些消息人士称,问题在于规模和“需求蔓延”,而不仅仅是技术。

“按照规定,当消费者不真正了解自己(数据隐私)时,他们的软件/系统会提示消费者有关数据隐私的提示和提醒。

但这些互联网公司又如何控制自己的隐私相关数据呢?目前还不清楚,”哈比卜说。

数据治理初创公司 Privacera 的首席执行官兼联合创始人 Balaji Ganesan 表示,公司通常无法了解数据的使用和存储方式。

Ganesan 告诉我们,数据科学家经常复制数据而不将其传达给更广泛的组织。

因此,当客户随后要求删除他们的数据时(因为他们在 PbD 框架下的权利),大型科技公司甚至可能不知道该怎么办。

“真正的挑战是了解用户的私人数据在哪里,”加内桑说。

密歇根大学计算机科学与工程候选人 Jane Im 博士表示,为了遵守用户隐私法规,公司需要从头开始构建数据架构和收集管道。

“如果他们真的想遵守,他们应该限制收集的数据量。

”Im 博士告诉我们。

我补充说,Facebook 和其他公司习惯于在其业务中使用“大量数据”。

“Facebook 重新训练模型是否可行?”她大声问道,如果有机会,用户会同意“追踪大量用户的行为,包括站外行为”。

哈比卜说:“由于这些隐私法规是在这些系统建成后引入的,因此很难对现有系统进行改造以匹配这些新的数据隐私法,这些法律非常全面,而且似乎符合人们对数字隐私的实际需求。

”保护隐私的代价是什么?对隐私有利的事情往往对企业和企业不利,但与该领域的许多事情一样,结果取决于“我们应该”如何实施。

数据的准确性也取决于上下文,这一点不要感到惊讶,”密歇根大学计算机科学与工程助理教授 Ben Fish 告诉我们,“但不能保证隐私技术会让系统变得更糟——它们确实可以。

让系统变得更好。

”在泄露的文件中,梅塔·工程师表示,解决隐私挑战将“需要对 AD 和我们的基础设施团队进行额外的多年投资,以控制我们的系统如何收集、处理和提取数据。

”作者估计,这项工作将需要为相关项目分配大约 1,000 年的工程时间。

Meta 的文档显示了重新设计系统以使其更符合隐私要求将需要多么密集的资源。

分配这些资源显然成本高昂,因此监管机构面临的挑战是对违规者进行足够高的处罚,以将隐私权置于产品设计和实施的优先级列表中。

加内桑表示,高管们必须在将资源分配给隐私计划和其他业务优先事项之间做出选择。

如果你可以把钱花在三件事上,你会选择哪一件?”加内桑还表示,投资于优先考虑用户隐私的数据处理的意愿处于最低水平。

数据合规要求将彻底变革企业数据架构

一些消息人士表示,他们认为从开放系统向封闭系统的转变只是第一步,这使投资计算更加复杂。

“即使关于数据隐私控制应该放在平台上的什么位置,以便它们是可发现的和可发现的——以便人们知道他们实际上可以合规——这个问题仍然没有现成的解决方案。

研究主题,更不用说采取什么步骤来创建这些控制用户数据的海量数据架构和管道,”Banovic 说。

然后,我们看看消费者方面:“我们需要对用户进行更多教育,这可能会导致更多的集体行动,”Im 说。

根据她引用的几篇研究论文,大多数社交媒体用户不了解在线行为广告商业模式收集他们的数据以获取利润的程度。

“这可以追溯到媒体道德的基本原则,”林说。

解释。

数据合规要求将彻底变革企业数据架构

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 恒力华振完成数千万元Pre-A轮融资,大辰创投领投

    恒力华振完成数千万元Pre-A轮融资,大辰创投领投

    投资行业消息,据36氪报道,工业互联网公司恒力华振近日宣布完成数千万元融资Pre-A轮融资。 本轮融资由大辰创投领投,明照资本跟投。 据了解,本轮募集资金将主要用于产品研发及进一步商业落地。 恒力华振成立于2007年,瞄准生产过程质量监控市场,为客户提供设备数字化、智能

    06-17

  • CES 2023今日总结:实用主义重回主流,今年的PC性能大战即将打响

    CES 2023今日总结:实用主义重回主流,今年的PC性能大战即将打响

    国际消费电子展(CES)作为年度首个科技展,于今日早早开幕。 虽然今天还没有正式开始,但不少厂商已经迫不及待地拿出自己的美味佳肴让现场媒体抢先尝鲜。 前面我们的记者还在路上。 今天小编就给大家总结一下那些让人胃口大开的新品。 英特尔算力领先,发布第13代全新处理器

    06-21

  • 首期5亿元,杭州零磁装备成果转化基金成立

    首期5亿元,杭州零磁装备成果转化基金成立

    投资界(ID:pedaily)消息,4月11日,环境科技创新平台创新生态系统暨环境科技创新平台动员大会杭州江南科学城建设举行。 会上,举行了零磁装备成果转化基金设立签约仪式和环境科技创新平台创新生态联盟成立仪式。 零磁装备成果转化基金首期规模5亿元。 拟由杭州市科技创新集

    06-17

  • 富邦股份上市 华工创投、江苏华工创业投资基金、天津博润和武汉高农生物创投获得退出

    富邦股份上市 华工创投、江苏华工创业投资基金、天津博润和武汉高农生物创投获得退出

    富邦股份上市。 华工创投、江苏华工创业投资基金、天津博润、武汉高农生物创投退出。 2019年7月2日,湖北富邦科技股份有限公司在深圳创业板挂牌上市。 湖北富邦科技有限公司成立于 。 湖北富邦科技有限公司是由湖北富邦化工科技有限公司整体变更设立的股份制公司。 2019年11月

    06-17

  • 图文视频之后,音频自媒体的未来

    图文视频之后,音频自媒体的未来

    本文来自福布斯、作者和王每君。 对播客未来的 10 个预测是两年前的今天写的。 2年前,荔枝FM还没有上线,小宇宙还没有上线,TME还没有官宣Director Audio,字节还没有推出番茄收听,网易还没有更新8.0版本的播客,没有底指南中,快手和百度尚未进入播客行业,微信音频尚未推

    06-21

  • Snap It是一款减肥工具,可以通过拍照来计算食物卡路里

    Snap It是一款减肥工具,可以通过拍照来计算食物卡路里

    FitNow是一家位于波士顿的移动应用开发公司。 他们推出了一款应用程序“Lose It”,可以用来追踪食物摄入量和运动量——它是今年苹果商店推出的首批应用程序之一。 而且8年后,这款应用仍然是Apple Store和Android应用商店中排名第一的减肥健康应用。 FitNow 联合创始人兼首席

    06-18

  • 日托机构EarlyBird完成天使轮融资

    日托机构EarlyBird完成天使轮融资

    据投资界5月21日消息,高端日托机构EarlyBird完成天使轮融资。 投资方为万新集团和清河投资。 公开资料显示,早鸟成立于2006年,是一家针对0-4岁婴幼儿的高端托育机构。 公司为社区家庭提供ToC全日托、半日托等托儿服务;同时还根据企业个性化需求提供ToB服务。 目前在北京设

    06-18

  • 米文动力获数千万元A+轮融资

    米文动力获数千万元A+轮融资

    据投资界6月3日消息,据36氪报道,米文动力近日宣布获得数千万元A+轮融资。 本轮投资由北汽产业投资领投。 赛智创投跟投。 公司此前已获得云天使基金等天使轮投资,以及博彦嘉铭、硅谷资本中国等数千万元A轮投资,据了解,本轮资金将用于增加产品线、扩大产能、发展垂直行业

    06-18

  • 半导体投资2320亿,三星力压群雄

    半导体投资2320亿,三星力压群雄

    据报道,韩国三星电子2016年在芯片工厂和设备上的投资比台积电、英特尔等任何竞争对手都多。 三星电子周三(9日)表示,已投资43.6万亿韩元(约合人民币1亿元)升级和扩建位于韩国和中国的芯片工厂。 这些工厂生产先进的 DRAM 芯片和垂直 NAND 闪存芯片。 资金也得到了补充。

    06-08

  • 这个看起来像软糖的7厘米小玩意实际上是模仿猎豹的“最快”软机器人,长

    这个看起来像软糖的7厘米小玩意实际上是模仿猎豹的“最快”软机器人,长

    7厘米,重45克。 它可以在陡坡上奔跑、在水中游泳、奔跑、跳跃、举起重物……而且它只是一个看起来像软糖的软体机器人。 也许它最霸气的一面就是它模仿的猎豹。 是的,它与追逐“糖蜜”的是同一种动物,但它也是陆地上速度最快的生物。 软机器人看起来像这样。 以“小猎豹”妖

    06-18

  • 马化腾陷入玻尿酸陷阱

    马化腾陷入玻尿酸陷阱

    作者|徐明辉编辑|柳儿源|创作当年,由尤小刚执导,姜文、王姬主演的《北京人在纽约》热播。 孔府佳酒邀请王姬担任品牌代言人。 “功夫甲酒让人思乡”的说法传遍大江南北。 那是鲁九的辉煌时代。 央视春晚的“王”大多是鲁九拿下的;中国白酒销量前十名中,绿酒占据四席。

    06-17

  • 搜狐视频的变化:并购和网络渠道合作可能是一个突破

    搜狐视频的变化:并购和网络渠道合作可能是一个突破

    闭关两年回来的张朝阳,发现自己找到了一份令人兴奋的工作。 昨天,搜狐宣布,搜狐集团董事局主席张朝阳正式出任搜狐视频代理CEO。   虽然这个消息在业内没有并购消息那么重要,但搜狐视频的人事变动还是引起了业界的震动:搜狐视频要努力了!   张朝阳被任命为搜狐视频代

    06-18