离离原上谱。有位旧金山全职奶爸被谷歌全网封杀了，原因是他为了告知医生孩子的病情，用自己的安卓手机，拍下了儿子腹股沟感染的照片。结果谷歌把这些照片标记为儿童性虐待材料(CSAM)。
当事人立刻决定上诉，但谷歌不仅无情拒绝，还标记了他别的视频和照片，搞得旧金山警察局都开始介入调查。推特上网友们展开了激烈讨论，有人聚焦在隐私被侵犯上，有人说着宁可严管不能放过，还有一位妇科医生开始担心起自己的教学：
这到底是一场乌龙还是大离谱事件?
一次在线求医引发的“案件”
问题始于 2021 年 2 月。那个星期五的晚上，因儿子腹股沟肿胀，疼痛难忍，马克夫妇忧心万分。在接受第二天的视频医疗咨询前，妻子按照护士的建议，拍了几张儿子腹股沟感染处的高清无码特写，并上传到医疗保险系统。为了方便医生根据照片提前初步诊断，妻子拍照时，马克用手指指着儿子的不适处。在照片的帮助下，医生诊断并开了抗生素。
△ 马克和儿子(图源《纽约时报》)
儿子的病解决了，马克的麻烦却来了。
没过两天，因“严重违反谷歌政策且可能违法”的“有害内容”，马克的谷歌账户被禁用。“有害内容”包括“儿童性虐待和剥削”。马克大呼头疼：“哦，天哪，谷歌可能认为那是儿童色情片。”
更灾难的事还在后面。马克是谷歌的重度用户，从同步日计划到备份照片视频，都靠的是自己的 Gmail 账户。但由于这哭笑不得的乌龙，多米诺效应接踵而来 —— 他被谷歌全网封杀了!他失去了对自己电子邮件、联系人、照片的访问权，Google Fi 账户也被关闭了(这意味着他必须得去另一家运营商申请一个新电话号)。走法律流程起诉，大概得花掉 7000 美元。“emm…… 我认为它可能不值 7000 美元。”马克说。
不过，马克曾经在一家大型科技公司担任自动化工具的软件工程师，该工具用于删除被用户标记为有问题的视频内容。他知道，为了保证 AI 不出错，通常还有人工审核流程。
因此刚开始马克还没那么愁，他觉得只要进入人工审核阶段，他就能找回自己的账户。不然，他会和自己之前的数字生活“天人永隔”。他填了申请表，解释了儿子的感染情况，要求谷歌对决定进行审查。
几天后谷歌审查团队回应称不会恢复账户，还悄没声标记了他别的视频和照片。更要命的是，旧金山警察局已经开始调查他。不过有点好笑，因为 Google Fi 和 Gmail 被禁用，警员联系不上马克。
△ 图源《纽约时报》
费尽周折联系上后，调查员对马克进行了全面审查，最终认定这不构成虐待或剥削儿童。但警方没办法直接和谷歌沟通，说明马克的无辜;后来马克提供警方报告，再次向谷歌上诉，仍无济于事。
无独有偶，马克账户被禁用的第二天，得克萨斯州上演了同样的戏码。
另一位孩子爹根据儿科医生的要求，用安卓手机拍了自家宝贝“内脏部位”感染处的照片，照片自动备份到了谷歌云，而后他又用谷歌聊天把照片传给了孩子妈。结果惊人的相似，他的 Gmail 账户同样被禁用。因为没有电子邮件地址，他差点没法买房。
休斯顿警方邀请他到警局喝杯咖啡，在出示和儿科医生的聊天记录后，他很快被放出警局。警察认为他无罪，谷歌却不这么认为。尽管他是用了 10 年付费账户的老谷歌用户了，账号还是找不回来。现在，这位孩子爹不得不用 Hotmail 地址发送电子邮件，并被朋友们无情嘲笑。
AI 标记儿童性虐待，每年数百万次
2021 年，谷歌提交了超过 62 万份涉嫌虐待儿童的报告，禁用了超过 27 万名用户的账户，提醒当局发现了 4260 名潜在的儿童性虐待受害者。当然，其中包括了上文被冤枉的两位奶爸。
收集大量数据的科技巨头们会充当把关哨兵，检查内容，以监测和预防犯罪行为。每年，它们会标记儿童被剥削或性虐待的图像数百万次。但内容检查可能需要窥视私人档案，比如偷看你的电子相册。两位奶爸就是没有料到这一遭，才让“求医心切”在谷歌那儿变成了“儿童性虐待”。
把关的时候，科技巨头们一般会用两种工具：一种是微软 2009 年发布的 PhotoDNA。
△ PhotoDNA 工作原理
它建立了一个虐童照片数据库，把每个人电子相册的照片和数据库里的照片对比，就算照片有细微不同，也能找出传播虐童图像的用户。包括 Facebook、Twitter 和 Reddit 在内，都使用 PhotoDNA。
另一种是 2018 年，谷歌发布的开发者工具包 Content Safety API。它使用深度神经网络来处理图像，让审查员在相同时长内，处理的虐童图像内容增加了 700%。谷歌自己使用这个 AI 工具包，也开源给 Facebook 等使用。
这个 AI 工具包的大致审查流程是这样的：
两位奶爸的照片自动备份到谷歌云，并被标记人工审核
↓
人工审核，确认这些照片符合对虐童图像的定义
↓
锁定用户账户，继续搜索账户中其他虐童图像
(马克还有一张晨起全家赖床的照片，因衣衫不整，又又又被标记了)
↓
向国家失踪和受虐儿童中心(NCMEC)的 CyberTipline 报告
不得不说，谷歌 AI 工具包在识别图像内容方面展现出了惊人能力，CyberTipline2021 年每天收到约 8 万份报告，由 40 名分析师审核，以便 NCMEC 能进一步报告给警方。
CyberTipline 主管说，这是“系统正常工作”。但这无疑是双刃剑，毕竟如果情节被判严重，哪怕父母是无辜的，也可能失去孩子的监护权。
虽然上文提到的两位奶爸都是用安卓拍照遭的殃，但苹果用户别高兴得太早。毕竟，只要用谷歌，就会面临被审查。
更何况，去年苹果还宣布儿童安全(Child Safety)计划时，闹出的动静也不小。
苹果在发布的 iOS / iPad OS 15.2 的第二个测试版(内部版本号：19C5036e)中，增加了对儿童的保护。
简单理解一下，就是苹果要在 iOS 和 iPadOS 系统里加上图片审查功能，自动检测 iPhone 和 iCloud 是否涉及儿童色情影像与图片，用来打击儿童相关性犯罪。
当时一片反对声被掀起，不少用户认为隐私会被侵犯，90 多个非政府组织写公开信表达严重不满。
最终，苹果搁置了这项计划，无限延期。奶爸乌龙事件发生后，马克的妻子火速从自己的 iPhone 里删除了为儿子拍摄的照片，生怕苹果也标记她的账户。
针对这件事，谷歌儿童安全运营负责人表示：“受大环境影响，加上远程医疗日渐普及，父母确实有必要给孩子拍照，辅助医生诊断。”
她说，谷歌已经找儿科医生帮忙，方便人工审查员了解并分辨出于医疗原因拍下的类似照片。而马克仍然在为找回谷歌账户奔波。在得知旧金山警方把他的谷歌账户内容保存在拇指驱动器上后，马克现在最大的心愿就是获得一份副本。
不然可太不方便了!
参考链接：
[1]https://www.nytimes.com/2022/08/21/technology/google-surveillance-toddler-photo.html?auth=login-email&login=email
[2]https://twitter.com/kashhill/status/1561320951102558208
