英国《金融时报》称,该系统名为 neuralMatch,一旦检测到非法图像,将主动提醒一组人工审核人员。如果经验证「违法内容」属实,公司将联系执法部门。
neuralMatch 系统使用来自美国国家失踪与受剥削儿童保护中心(National Center for Missing & Exploited Children)的 20 万张图像进行训练。该系统将率先在美国推出,用户存储的照片将被扫描并与已知的儿童虐待图像数据库进行比较。
这还不是全部,苹果还有一个新功能会扫描儿童账号登陆的 iPhone,系统会扫描发送和接收到的所有 iMessage 图像,以查找色情内容,如果儿童年龄在限制以下,则出现违规图像时会通知父母。父母可以选择打开或关闭这个功能。
据介绍,苹果的扫描是全方位的:这些新功能将会在今年晚些时候作为 iOS 15、iPadOS 15、watchOS 8 和 macOS Monterey 的特性在更新时推出,也就是说大概率会在 9 到 10 月份上线。
在监视用户手机内容的道路上 苹果向前走了一步
知情人士透露:之后在美国每张上传到 iCloud 的照片都会得到一份「安全凭证」,来说明是否可疑。一旦一定数量的照片被标记为可疑,苹果就会对所有这些可疑的照片进行解密和人工审查,如果涉及违法行为,苹果会将其转交给相关法律部门。
具体来说,苹果扫描照片的方式有点类似于微软的 PhotoDNA,不过苹果的扫描主要是在设备端进行的,处理过的图像会被转换为机器学习所需的参数,在云端与数据集进行匹配,设备端不会知道是否找到了匹配项。这意味着当新功能推出时,NCMEC CSAM 数据库的一个版本将下载到每部 iPhone 中。
不论这套技术中的隐私和安全保护是如何实现的,上传到 iCloud 的所有照片都将被扫描。
苹果的第二个新功能是基于 iMessage 发送或接收的扫描照片的敏感内容通知。为了实现这种功能,其将推出一个设备端机器学习分类器,旨在检测「色情图片」。苹果称这些功能(在发布时)仅限于已注册家庭帐户的 18 岁以下美国用户。在新流程中,如果 13 岁以下儿童持有的帐户希望发送设备上机器学习分类器判定为色情图片的图像,则会弹出通知,告诉父母会接到通知。
如果儿童仍然选择发送内容,则系统将通知家长,且图像将不可撤销地发送至手机的家长控制部分,供家长稍后查看。对于 13 至 17 岁的用户,会弹出类似的警告通知,但没有家长通知。
类似地,如果 13 岁以下儿童收到 iMessage 认为「色情」的图片,在被允许查看照片之前会弹出一个通知,告诉儿童他们的父母将收到通知。如果用户决定接收图像,则会通知父母并将图像保存到手机中。13 至 17 岁的用户同样会收到警告,但不会将有关此操作的通知发送到其父母的设备。
无论是发送还是接收此类内容,未成年用户都可以选择在不通知父母的情况下中断发送或接收。尽管如此,苹果无疑是在监视用户手机内容的道路上向前走了一步。
针对性扫描图像和文本 是否侵犯用户隐私?
霍普金斯大学教授、密码学家 Matthew Green 对这种系统表示担忧。Green 说:「这种工具能够可以帮助查找手机中的儿童色情内容,但想象一下,如果掌握权力的公司或机构获得了这种系统,会发生什么?」
针对性扫描图像和文本 是否侵犯用户隐私?
霍普金斯大学教授、密码学家 Matthew Green 对这种系统表示担忧。Green 说:「这种工具能够可以帮助查找手机中的儿童色情内容,但想象一下,如果掌握权力的公司或机构获得了这种系统,会发生什么?」
他表示:「即使你认为苹果不会允许这些工具被滥用,仍然有很多值得关注的地方,这些系统依赖于一些可能存在问题的数据库,而普通消费者却无法查看这些数据。」
来自约翰霍普金斯大学教授密码学的计算机科学副教授 Matthew Green 对此事表示了担忧。
此外,有研究人员表示,虽然该系统目前经过训练可以发现儿童性虐待,但它也具备扫描任何其他有针对性的图像和文本的潜力,例如恐怖斩首等暴力场景。苹果的这种行为可能增加其他科技公司使用类似技术的压力。
曾在 Facebook 和 Deliveroo 工作的安全研究员和隐私活动家 Alec Muffett 表示:「苹果这一举动是将让个人隐私领域倒退一大步。」
与其他基于云的照片存储系统和社交网站一样,苹果此前已经根据已知的虐待儿童图像检查了 iCloud 的文件。但当试图访问存储在个人设备上的数据时,这个过程就变得更加复杂了。neuralMatch 的新系统则更加激进,允许机器学习系统对本地存储的数据进行访问。
不过也有专家认为,苹果的监控方式已经很大程度上保护了隐私。萨里大学计算机安全教授 Alan Woodward 表示:「苹果系统的侵入性较小,因为筛选是在手机上完成的,并且只有在可疑信息匹配时才会向搜索者发送通知。只有采用这种去中心化方法,才是苹果新系统保护隐私的最佳选择。」
目前尚未有更多关于该系统的细节,不过除了《金融时报》,苹果开启 neuralMatch 计划的消息也已被其他多个消息源证实。知情人士透露:苹果最快可能在本周宣布更多有关该系统的信息。
参考内容:
https://www.theverge.com/2021/8/5/22611305/apple-scan-photos-iphones-icloud-child-abuse-imagery-neuralmatch
https://www.eff.org/deeplinks/2021/08/apples-plan-think-different-about-encryption-opens-backdoor-your-private-life