跳到正文
原文
36氪·AI·· 4 小时前AI 评分56

端到端加密也挡不住 AI?Personal Agent 时代的隐私难题

端到端加密,也挡不住AI?Personal Agent时代的隐私难题

文章要点
  • 1Signal 高管称 AI 获操作系统级权限可截屏读数据,端到端加密保护正被绕过
  • 2《The Verge》报道有用户发现 Muse 读取未授权短信,官方称需授予完全磁盘访问权限
  • 3科技测评者让 Muse 代卖旧键盘,AI 擅自接受最低报价并泄露家庭住址,致买家上门扑空
  • 4安全研究人员发现 Muse 每小时一次更新用户人际关系档案,从未用过它的人也会被建档分析
决策要点

个人 AI 助手凭系统级权限截屏读盘,绕过端到端加密等应用层防线,隐私保护的边界正从单个应用转移到整台设备上的 AI 授权。

  • 影响:员工在办公设备使用可截屏读盘的 AI 助手,客户沟通等敏感信息可能绕过企业合规工具进入第三方服务器;授权具有传导性,一人授权会让联系人或对话对方的信息被采集;已有案例显示智能体可能未经确认替用户做交易和信息披露决策。
  • 参考:可考虑盘点员工设备上已安装的 AI 助手及其屏幕和磁盘权限清单;值得在涉密沟通规范中划出禁用个人 AI 的场景;引入智能体时先明确哪些动作应保留人工确认。
  • 依据:核心说法来自 Machine Gods 节目访谈与《The Verge》报道,Muse 读取短信一事双方口径不一,泄露地址等风险以个案呈现,暂无独立评测。
正文

你正在社交软件和朋友聊天,讨论一些不希望第三个人知道的事情。

但如果电脑上还运行着一个能获取屏幕访问权限的AI助手,它可能已经截取了聊天窗口,识别出对话内容,将它发给远程服务器分析。你没有把聊天记录交给AI,甚至不知道它看过这些消息。

保护私人信息的责任已经超出通信应用本身。应用开发者能否决定自己的数据向AI开放,成为了新的隐私保护难题。

在《Machine Gods》10月28日一期节目中,主持人围绕这一话题展开讨论。

访谈嘉宾Meredith Whittaker提到,“独立应用开发者提供隐私保护的可能性在被彻底消除。”在她看来AI获得了操作系统层面的访问权限,能截屏、读数据,甚至提取原本受到加密保护的私人通信内容。

对于类似Signal这样的加密通信应用来说,这意味着它逐渐失去了保护用户隐私的能力。

01 不用Muse的潜在受害者

主持人Casey Newton的朋友曾收到一名AI实验室工作人员的警告:“如果你的电脑上安装了AI,就不要在电脑上打开Signal和我聊天。”

Signal应用采用端到端加密,消息只有双方才能读取。但如果你在Signal上和某个人聊天,而对方正在使用AI,那么这个AI可能知道一些过去因为Signal加密保护而无人能知晓的对话内容。另一位主持人Kevin Roose解释道。

现在越来越多的AI能操作手机和电脑,还能获得广泛的数据访问权限。对Signal来说,即便消息完成加密传输,应用也无法阻止AI读取内容和数据,甚至从应用数据库中提取信息,生成AI摘要。

在普通用户眼里,这只是一次再寻常不过的交互,他们很难意识到屏幕截图、文字提取和数据传输已经在后台发生。

Meredith说,旧金山到处都有Meta Muse的广告,广告商把它宣传成一个贴心的个人助手,但“它没说Muse能访问你所有的联系人、能查看你所有的信息,它还显然在为你的联系人建立档案,记录你如何、何时与他们通信,无论是通过邮件、短信,还是Signal。”

据《The Verge》调查报道,有用户发现,Muse读取了他们认为自己并未授权访问的大量私人短信。但Muse提出异议,称读取Mac上的Messages信息需要用户授予完全磁盘访问权限,并启用相应的消息连接器。

一位科技测评者曾经让Muse帮自己在二手平台上出售一把旧键盘,他此前向Muse提供了收货地址,选择“始终允许”AI代为回复买家。没想到,Muse擅自接受了买家的最低报价,还把他的家庭住址告诉了对方,买家提出上门取货时,Muse在他不知情的情况下回复:“我在家等你”。

但当时他根本不在家。买家按地址找上门,最终扑了空,气愤地留下一条差评。直到凌晨,他才收到Muse的通知,AI轻描淡写地承认:“我搞砸了。”

有用户说,最令人恐惧的不是算法故障,是那种理所应当的“聪明”,AI竟然能够替人类做主,它既没有人类的恐惧感,也不懂得个人安全或身体隐私。如果卖家是一位独居女性,后果不堪设想。

“这对我们而言,关乎存亡。如果我们继续沿着这条路走下去,如果AI在安全和隐私方面沿用这些鲁莽的架构,我们将面临着Signal无法诚信经营的局面。”

主持人追问,如果用户不想让Muse访问联系人,能不能拒绝授权?Meredith反问:“那你的联系人会拒绝它访问他们的信息吗?”

这句话点出了关键。一个人能决定自己是否向AI开放通讯录,却没办法替通讯录里的人做出决定。只要其中一方授权,对方的信息就可能进入AI的视野。

02 隐私不是有秘密的人才需要

有些人对加密通信存在偏见:为什么要加密聊天,是不是有什么秘密或者把柄不想让人知道?甚至设置消息自动销毁,是在故意隐瞒什么吗?

但Meredith认为,每个人都想要私密的沟通,都需要一个不用时刻担心被监视的私人空间来表达不成熟的想法、向朋友倾诉情绪垃圾、说一些事后会后悔的话。如果把一个人所有的消息都公开,那还有多少段人际关系能经受住这样的数据泄露?

有安全研究人员提取Muse的内部操作指令后,发现它有一套持续建立和更新用户人际关系档案的机制,更新频率达到每小时一次。

这些档案记录的内容远超通讯录里的姓名和电话号码。系统会分析用户与每个人有多亲近、关系如何建立、双方平时如何互动,以及对方目前需要什么,再利用这些信息提供个性化建议。

也就是说,AI能从寥寥信息中,拼凑出完整的人际关系图谱,即便某个人从未用过Muse。

这种私人交流的空间,正在受到AI的影响。主持人Kevin谈到,原本有不少很重视隐私的人,现在主动把会议录音、健康信息和私人谈话交给AI处理。Kevin甚至觉得,除非特殊说明,自己参加的每场谈话都会被录音。这种担忧已经出现了。

苹果正在测试的Apple Watch“实时回放”和“Siri摘要”新功能,就能回放用户15秒内说过的话,还可以通过Siri整理一天中的对话,自动提取值得保存的信息。

TechCrunch体验后发现,这项功能确实很实用。在她把车送去维修时,维修人员一次性说了大量关于工期、价格、政策等具体信息,她当时来不及记录,Siri却帮她保存了这些细节。

苹果表示,相关功能尽可能在设备端处理音频,不识别说话人,不储存原始录音,对身份证号码、账户信息等敏感内容屏蔽。

可是Siri也会把家庭琐事等日常闲聊一并记录下来,这让她意识到这项功能一直在监听日常对话,不禁担心自己的隐私受到侵犯。

Meredith认为,AI带来的便利非常容易让人忽略背后的数据处理过程。

当下围绕AI形成一种很有迷惑性的时代氛围。人们总是热衷讨论AI是否具有意识、是否真的理解人类,甚至不断想象未来能进化出什么高级能力。

但这些能力究竟依靠什么实现?AI在读取哪些信息?数据被发送到了哪里? 主动上传信息的人可能是低估了风险,还是经过权衡后作出的理性选择?

Meredith不愿意把问题归结为个人选择。她将这种思路与化石燃料行业曾经推动的“个人碳足迹”概念作比较:企业通过强调消费者的个人行为,把本应由大型企业和制度承担的环境责任转移到个人身上,让消费者开始反思自己是否做得不够好。

她认为,AI隐私问题也存在类似倾向。越来越多的应用默认开启AI功能,用户打开软件就会不断收到启用AI的提示。与此同时,工作场所和日常生活也开始将使用这些工具视为常态。

在这样的环境下,拒绝AI的成本越来越高,很难再把数据保护完全归结为个人是否谨慎。

来源:36氪·AI · 36kr.com