商户一站式数字平台富士科技完成1500万美元A+轮融资
06-18
上班聊天时，Mark突然被警察叫到家门口。
Mark因手机被发现有儿童性器官的照片，被怀疑是针对儿童的性犯罪者。
而警方发现，这张照片竟然出自Mark的儿子之手……你的脑海里，大概已经开始构建起一个变态的恋童癖形象了。
不要太快生气，事情很快就会有好转。
原来这张照片是Mark在儿子生病后为了让医生了解儿子的病情而拍的，而Mark从未公开发布过这张照片。
那么警方是如何发现的呢？谷歌的人工智能系统检测到Mark安卓手机上的照片，确定他就是犯罪嫌疑人。
他们向警方报告了此事并禁用了他的谷歌帐户。
在美国，谷歌全家桶的受欢迎程度大致相当于微信。
也就是说，谷歌的这次操作，直接让Mark从线上到线下全方位社交起来。
更可怕的是，像Mark这样被平台检测并举报的人远不止一个。
孩子网上问诊的照片被确认为罪犯和Mark。
孩子学走路时腹股沟发炎。
由于疫情严重，当时大多数人都在家隔离。
Mark只能选择在线咨询，并提供孩子腹股沟的照片，试图帮助医生做出更好的诊断。
医生还根据病情描述和照片开出了处方。
拿到处方了。
但这些照片出了点问题。
Android手机上的照片自动同步到云端。
谷歌系统将这些照片识别为CSAM（儿童性虐待材料）。
被查出后，Mark一半的网络使用都因为被屏蔽而瘫痪。
Gmail，用户登录其他平台使用的账户邮箱； Google Fi，用户的移动虚拟运营商，用于打电话、上网；无法再访问的 Google Photos 包含您家人的照片和回忆......这些都已被密封。
因为谷歌认为你涉嫌儿童性犯罪，所以它封锁了你的账户，并“代表你”报警。
该平台封锁你的账户后，向国家失踪与受虐儿童中心（NCMEC）提交了报告，从而引发警方调查。
十个月后，旧金山警察局通知了这位父亲，警察局根据谷歌提供的照片报告进行了广泛的调查。
为了更好地调查潜在的儿童性犯罪，警方还向谷歌发出搜查令，要求提供Mark的所有账户信息、视频、照片、位置数据、互联网搜索报告等内容。
对于Mark来说，这实在是一场不可预见的灾难。
如果警方的调查更加公开，他甚至可能无法完成自己的工作。
庆幸的是，经过缜密调查，警方确认父亲没有对孩子实施性犯罪。
父亲是无辜的，但谷歌却是死板的。
即使提供一份经警方核实的无罪报告，也无法让他成功地向谷歌申诉恢复他的账户。
他曾经留在账户里的照片信息已经被完全锁定，再也看不到了。
您将看到的只是 Google 发出的警告，表明您的帐户因包含严重违反 Google 政策且可能非法的有害内容而被禁用。
申请解封是没有用的。
您只能更改您的电子邮件地址和电话号码，并在数字世界中从头开始。
《纽约时报》报道了两名普通用户。
两人均拍摄了与儿童性器官相关的照片供孩子在线咨询，被判定违规，账号被封禁。
直到今天，他们还无法找回自己的账户。
他们甚至并不特别。
今年，谷歌向 NCMEC 的儿童性虐待报告计划 Cyber??TipLine 报告了 83 起案件。
NCMEC 向当地执法部门通报了潜在受害者的情况，请求警方协助调查，并在儿童受到进一步伤害时营救他们。
听起来是一个科技及时制止、预防犯罪的好故事，但当这份名单中包括了像Mark孩子这样只被要求就医的未成年人时，这就是一个“抓一千人，抓一个人”的悲伤故事。
错误”。
在所有技术侦查领域中，唯一的例外是儿童性犯罪。
虽然被错抓了，但谷歌显然不打算改变。
它不仅不会解封经警方核实的无辜用户的账户，也无意阻止这种有缺陷的审查机制。
谷歌发言人 Christa Muldoon 表示：“我们遵循美国法律来定义 CSAM 是什么，并结合使用哈希匹配技术和人工智能来识别它，然后再将其从我们的平台上删除。
我们的儿童安全专家团队将对其进行审查。
将内容标记为准确性并咨询儿科医生，以确保我们确定用户可能寻求医疗建议的情况。
问题在于，Google 的审核团队没有医学背景，在审核每个病例时不一定会咨询儿科医生。
在这个过程中，误判是不可避免的，唯一能减少这种误判影响的就是专业机构的判断和执法机构的二次审查，但对于那些被误判的人来说，这确实是一个错误。
因为这个误判，你的重要账号被锁定；因为这个误判，你被警方调查；因为这些误判，你周围的人看到你的时候也可能戴着有色眼镜。
电子前沿基金会 EFF 技术项目总监乔恩·卡拉斯 (Jon Callas) 向媒体表示，谷歌的做法具有侵入性。
“这是我们都担心的噩梦——他们会扫描我们的家庭相册，然后我们就会遇到麻烦。
”但这并不是 Google 独有的问题，因为几乎每个科技巨头在 CSAM 内容方面都存在问题。
有异常积极的行动。
亚马逊和Facebook、谷歌一样，都有人工智能+人工审核机制。
可疑用户被发现自行删除或禁用网址、图片和聊天功能，并严厉封禁其账户。
亚马逊还在 2018 年向 NCMEC 提交了 8 份 CSAM 报告。
至于隐私问题，它们在这个科技打击犯罪的故事中似乎被忽视了。
在捍卫用户隐私的故事中，最令人印象深刻的就是苹果拒绝“协助解锁”的故事。
当时，美国一家福利机构发生严重恐怖袭击和枪击事件。
凶手在逃跑过程中被枪杀。
调查过程中，警方发现凶手通过手机加密通讯方式与中东“伊斯兰国”极端组织进行联系。
不过，由于手机有密码，法院只能要求iPhone制造商苹果公司帮助政府解锁。
然而，苹果公开宣布拒绝遵守这一命令，理由是要保护用户隐私：“如果政府使用《所有令状法案》来让解锁iPhone变得更容易，它将有能力入侵任何人的设备，并且获取他们的数据，政府可以延长这是对隐私的侵犯。
”但即便是坚决拒绝解锁用户 iPhone 的苹果，在儿童性犯罪领域也没有动摇，苹果也曾考虑过使用一种新工具来扫描用户的 iCloud 照片，以与 NCMEC 相匹配。
如果发现足够多的相似图像，就会将其交给运营商进行审核，并且苹果公司还计划推出一项新的 iMessage 功能，旨在“在（儿童）收到信息时提醒儿童及其家长”。
13岁以下的家长接收或发送图片都会收到警告，所有儿童用户在即将接收或发送涉嫌色情图片时也会收到警告通知。
没过多久由于反对声太大，这种变化趋势必须停止，EFF 认为这一新变化可能“为你的私人生活打开后门……所有 iCloud Photos 用户的隐私都会减少，而不是得到改善”。
不管出于多么善意，今天可以扫描儿童色情内容，明天可以扫描任何东西。
”苹果最终搁置了图像扫描部分，但保留了将儿童帐户纳入家庭共享计划的选项。
家长可以有选择地为孩子开启分析图片是否存在裸露的功能。
如果检测到裸体，图像将会模糊。
就连苹果公司也想在自己的产品中加入CSAM识别功能，很大程度上是因为这是一条红线——无论是对于普通用户、执法机构还是平台来说，他们对此事的容忍度极低。
这也意味着，当确实需要科技公司的技术合作时，在儿童性犯罪案件中选择优先合作将会获得更多公众的支持。
英国在线安全法案的更新旨在要求“用户对用户服务”的提供商努力向国家犯罪局报告任何共享的儿童性剥削和性虐待内容。
这项立法修正案明确规定，企业应开发能够检查消息（包括端到端加密通话）的软件，以主动检测并向当局报告儿童性犯罪材料，否则将面临制裁。
但谷歌的故事告诉我们，即使这个功能运行顺利，也存在“误杀”的风险，而每一次误杀都会对无辜用户造成伤害。
技术可能无法解决所有问题。
我们所熟悉的人工智能和算法在面对棘手的社会问题时仍然过于“简单”。
依靠单一技术来检测潜在或已经发生的犯罪是很困难的。
技术的介入甚至可能给原本困难的环境带来新的问题。
初心是好的，并不一定就会有好的结果。
毕竟，有时通往地狱的路是由善意铺成的。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-18
06-18
06-17
06-17
06-18
06-18
06-17
06-18
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态