酷炫的AI手机背后，很难规避数据处理的方法和规则，更不用说将数据安全的责任置于真空之中。迄今为止，手机作为人类最贴心的信息终端产品，承载着大量的个人隐私数据。如何为消费者建立值得信赖的移动终端侧AI处理服务是行业面临的重大问题。 。

AI手机商用实践进展

2024年，部署生成式AI技术的新款手机将陆续发布，标志着AI手机市场的开始[1]。 10月，苹果首款真AI手机iPhone 16正式亮相。其搭载的Apple Intelligence采用“设备端大模型+云端大模型”的方式，不仅可以处理设备上的日常文本任务，还可以结合云端完成更复杂的图像和视频分析[2]。紧接着，vivo推出了蓝心端对端大机型3B以及手机代理（Agent）——PhoneGPT，可以自主拆解、提供反馈、完成任务，比如自动打开APP应用、搜索餐厅、打电话完成预订。 [3]。

除了在设备端部署大型AI模型外，移动终端还引入了云端AI能力，包括自有的云端AI和第三方AI。第一个是苹果的“隐私云计算”（PCC），利用自主研发的云系统进行云端AI计算，将用户设备上的处理安全和隐私延伸到云端。为此，苹果专门配置了苹果硅服务器，采用专门为隐私保护而设计和强化的苹果操作系统，并采取了包括权限访问控制、端到端加密等软硬件一体化的安全措施。第二种方式是与外部合作。对于第三方大机型，终端厂商目前采取开放态度。例如，荣耀、三星、百度云千帆合作，对接行业垂直大机型和通用大机型； OPPO手机国际版将接入谷歌AI大模Gemini；小米将接入豆宝大模型等。苹果在PCC节点之外部署外部大模型，例如GPT-4o，只能响应处理后的非个人数据和相关需求。

未来，随着融合的深入，“生成式AI技术将在智能手机上催生一个甚至多个智能体（AI Agent）……但预计智能体仍将与APP长期共存。” 》[4]由此，隐私保护、数据安全等关键问题出现。在AI移动业务场景下，AI移动终端、第三方大机型、APP之间将建立怎样的生态关系在设备端部署AI大模型、应用AI代理的过程中，会带来哪些新的隐私风险和数据安全挑战，不同业务实体之间的数据规则将如何构建，最终形成端消费者可以信赖的AI生态？

技术不是能解决所有问题的“万能药”，也不是保证责任的“金牌”。除了技术思维外，法律规则、秩序和责任边界也将在隐私保护的最终方案中发挥重要作用。尽管传统的数据保护法律规则日益落后于颠覆性的人工智能技术浪潮，但在缺乏新的治理规则的情况下，仍然需要基于现有的法律和治理框架进行分析。欧盟《AI ACT》提出：人工智能服务活动仍将遵守欧盟数据保护法——GDPR的相关要求。本文从法律角度分析当前AI手机带来的四大隐私和数据安全挑战。

挑战一：隐私保护和数据安全责任谁来承担？

明确不同企业的角色是明确责任边界的前提。在责任主体方面，对于上述不同类型的企业，需要根据具体的业务场景、技术逻辑，明确其是否属于数据控制者（datacontroller）、数据处理者（dataprocessor）或其他主体角色。和法律法规；此外，还需要明确“协同协作”业务场景中不同主体的职责，如联合处理、对外提供、委托处理关系等，以形成清晰有序的安全生态系统。但总体来看，基于目前端侧AI手机的商用进展，终端厂商、APP开发商、第三方AI服务商在数据安全方面的责任关系还不是很明确。

以AI手机推广的经典场景为例，手机代理（Agent）基于AI大模型能力。目前，实现“点餐”任务有三个重要步骤：首先，代理进行截图或用相机拍照，在合适的时间“点餐”。 “看到”屏幕内容，并进行总结和播放；二是智能体理解用户的语音指令，并将其拆解为任务流程；三是模拟人的手势触摸屏幕，对APP进行一些操作。例如，在vivo官方演示中，蓝心小V可以独立点击屏幕，找到用户需要的东西，关闭弹出广告，最终完成订单。需要说明的是，在此过程中，除非终端系统主动开放相关技术接口，否则终端AI的识别和操作行为是无法被APP知晓或屏蔽的。我们可以通过上述场景来分析相关主体在数据安全中的法律作用。

我们先看终端厂商。对于在移动终端上开发和部署大型模型的厂商来说，在向用户提供AI服务时，必须清楚地了解所收集的信息类型以及处理的目的。从信息类型来看，按照现有的技术实现方式（手机录屏），收集的个人信息类型将会非常丰富，包括各类敏感信息。例如：用户在使用服务时提交的个人信息、个人语音指令、通过录屏甚至操作APP等方式获取的个人信息等。就处理的目的而言，制造商也清楚地意识到自己正在处理以语义方式而不仅仅是计算机代码的“与已识别或可识别的自然人有关的信息”。因此，终端厂商作为数据控制者的角色就被确定了。

我们再来看看APP服务商。在移动互联网生态中，直接向消费​​者提供服务的App一般被视为数据控制者，在电商、社交、出行等服务场景中承担相应的隐私保护和数据安全责任。然而，当设备端AI代理根据APP的服务能力完成特定任务时，终端厂商与APP服务商在数据安全方面的责任边界变得模糊。

前文提到，目前AI手机实现此类特定任务的流程与移动互联网时代的“自动化操作”和“辅助操作”不同，即不通过与APP服务配合直接调用其API提供者；在端端AI的情况下，智能代理实际上是模拟用户在APP中的屏幕阅读、理解和操作。在未与终端厂商达成合作的情况下，APP对手机AI功能的实际控制能力有限。即使APP履行了自身系统的数据安全管理义务，也无法对可能出现的不当操作及时做出响应或干预，避免可能出现的风险。在这种情况下，APP服务提供商无法与终端制造商形成“共同加工”关系。

在对外的AI服务方面，也存在数据安全责任边界不清的问题。以三星手机与谷歌Gemini的合作为例，可能会产生截然不同的责任关系：

当用户使用图像识别功能识别特定网页和产品时，如果将圈选或滚动截图的内容发送到Google Cloud进行云端处理，在此类用户直接调用的情况下，Google Cloud会直接收集数据并决定处理方式，使得 Google Cloud 可以构成唯一的数据控制者；

而如果说三星手机的大尺寸模型已经初步处理完毕，然后借助Google Cloud AI进行深入分析，两者之间围绕数据处理的决策是密不可分的，具有一定的参考价值。实际影响数据处理的目的和方法，则两者可认定为“联合处理”[5]；

除上述两种外，如果制造商将收集到的个人数据加密后以自己的名义上传至第三方云端AI处理，并以自己的名义输出结果，也可能被认定为“委托处理”。 ”

前两种方法或许可以在三星的公开文件中窥见一斑：“你需要登录谷歌账户才能充分利用Galaxy AI功能。这个账户允许谷歌根据你的互动提供定制服务。” [6]，并且当用户使用 Google 搜索界面和图标时会显示相关服务。第三种方法是一些终端厂商与百度云千帆、豆宝等大型云模式合作。具体的AI服务功能提供商并没有在操作界面上明确标明。对于用户来说，输入和输出都是通过终端代理。 。这种情况下，可以认为是一种委托处理关系，即终端厂商将独立承担向用户提供的AI功能服务所涉及的全部数据安全责任。

如上所述，端侧AI带来了全新的数据处理模式，打破了传统移动互联网时代的隐私保护和数据安全秩序。对此，明确数据安全的责任边界是与人工智能技术研发同样重要的当务之急。包括终端厂商、APP开发商、第三方云AI厂商在内的企业主体需要事前明确划分和约定权利和责任，并探索建立事后可追溯的数据安全保护机制。当调用模型和插件来编排应用程序时，该流程是通过可验证的记录进行管理的。此外，终端厂商还应对含有敏感信息的特定APP（如金融、社交、医疗等敏感场景）开放相应的技术机制，允许APP明确拒绝屏幕识别、操作等数据采集和处理。例如，三星明确表示：“它不会进入WhatsApp等流行的第三方消息平台，因为这些平台上的信息受到保护。” [7]

挑战二：数据采集的边界在哪里？

过去手机获取的信息主要包括用户设备和应用信息、日志信息、底层权限信息等；在终端侧AI场景和目前主要基于读屏和录屏的技术方法中，除了上述综合信息权限外，终端代理还可以获得录屏文件本身，并通过进一步的模型分析，获取各种敏感信息。可以获得身份、位置、付款等信息。由于录屏场景非常丰富，其识别的信息类型无法提前预测，并且极有可能包含大量其他自然人的个人信息。

该代理甚至可以将用户数据与来自插件和应用程序的第三方数据混合并利用。即使在最好的情况下，这些文件也不会被发送到云端进行理解和分析，但收集过程本身是否符合个人信息保护的基本原则——目的限制和最低必要性，仍然存在疑问。 。此外，“端侧处理”并不意味着脱离数据保护规则的约束。即使这些屏幕录制和屏幕截图存储在本地，如果信息泄露不足，本地数据存储并不意味着安全。例如，微软最新的人工智能“Recall”功能每隔几秒就截取用户活动的屏幕截图，就遭到了安全专家的强烈反对。尽管微软坚称，由于所有 Recall 数据均存储在本地，并通过设备加密或 BitLocker 进行加密，因此不存在侵犯隐私的情况。但 Absolute 的一项调查发现，42% 的终端设备在任何时候都没有受到保护。 ”专家温伯格表示，用户教育也存在漏洞，收集的数据类型不明确。[8]

目前，苹果在欧洲市场推迟和削减AI功能的行为也反映出这种冲突并非空穴来风。据报道，这主要是出于隐私、公平竞争和透明度方面的考虑。 [9][10]科技编辑马克·威尔逊指出，“苹果与用户的关系如此密切，以至于当它引入人工智能时，它甚至不需要担心我们是否会同意。公平地说，似乎没有人问这些问题。未知的人工智能系统如何分析我的私人文本？我们盲目地相信苹果会为了我们的利益而使用我们的信息。”[11]

挑战三：个人信息用于模型训练时如何保护用户权益？

“生成式人工智能技术需要数据进行训练，也需要用户提供更多数据进行训练。 GDPR 对此有很多疑问。” [12] - 埃隆·马斯克

在大型模型开发的早期阶段，训练数据并不针对个人信息[13]。但随着各垂直领域应用的深入，涉及个人信息的培训投诉和纠纷也时有发生。 2024年3月，欧洲隐私倡导组织NOYB对社交媒体平台X提起GDPR投诉，指控其未经授权使用超过6000万欧洲用户的个人数据来训练其大型语言模型“Grok”。访问权、更正权和被遗忘权的要求。 [14] Meta 和 LinkedIn 也面临类似的投诉。 [15] 同样，专家在考察苹果PCC时也指出，一旦使用PCC进行训练，数据就会被保留。无状态计算——不留下痕迹的计算——几乎是不可能实现的。 [16]

从目前来看，终端要实现持续的个性化服务，未来大概率需要云端数据训练模型。例如，三星就明确表示“在云端处理数据的功能可能会用于模型训练”。那么，如何解决模型训练过程中的问题呢？个人信息的安全以及如何保障用户的个人权利显得尤为重要。正如Noyb提出的那样，代理可能会错误地判断用户的婚姻、健康状况、种族和宗教信仰等，并据此给出答案或建议。用户很难做出更正，因为它不是基于准确的信息输出来判断，而是基于多方数据的聚合，并且很难从输入端进行更改。 Open AI 还在其隐私政策中指出，“鉴于我们模型工作的技术复杂性，我们可能无法在每个实例中纠正不准确之处。如果需要更正，用户可以填写表格。”[17]

此外，由于人工智能的关键能力是自主理解需求、自动推理策略、自动完成任务，因此也会引发人们对“自动决策”的担忧。报告显示，欧洲民众尤其担心个人助理人工智能会侵犯他们的隐私并操纵他们的决定（“低信任度”范围为 40% 至 71%）[18]。终端智能可以跨应用，进行多方融合分析。 ，甚至直接采取行动，其自动化决策的范围和深度都会大大提升，这无疑会对用户产生更深层次的影响。

挑战四：如何提供从端到云值得信赖的数据安全解决方案？

短期来看，设备端模式的能力有限，端云结合将是长期趋势。包括苹果、vivo、荣耀、三星等移动终端均与第三方云机型合作。此前，终端厂商虽然收集了相关个人信息，但对外传输的场景有限。在终端AI时代，为了进行更准确的理解和分析，终端代理需要将数据发送到第三方云端进行处理，这不可避免地面临以下问题：[19]

首先是如何建立清晰、可执行的权利和责任分配机制。由于终端可能与不止一种云机型（如荣耀）合作，未来的生态布局可能涉及更通用、更专业的云机型，这就需要终端建立更完善的第三方安全管理机制。

第二是能否达到值得信赖的安全级别。考虑到客户端模型能力有限，模型训练和微调只能在线完成，大量数据会从客户端传输到云端。尽管厂商经常强调在上传到云端时进行数据脱敏和加密处理，例如荣耀表示，其智能代理在调用云模型处理时会通过设备端保护网络过滤用户隐私，而vivo也声称“用户输入的内容将被处理。”过滤，只对训练好的模型更新进行匿名化，上报给服务器。”不过，目前各大厂商还停留在宣誓声明、产品发布会上的介绍以及白皮书中的几句话，没有进一步详细的披露。

即使像苹果一样强大，提供自己的云服务，并为PCC计算节点提供底层芯片安全加固和三层安全架构，但在隐私、技术解释和通知方面仍然受到质疑。例如，安全专家Adelin Travers指出，苹果迄今为止只披露了有限数量的代码，外部对PCC安全性的理解和信任将主要依赖于苹果自己的声明，而不是独立验证的结果。同样，由于同态加密（HE）的计算效率和可扩展性限制，苹果仍然需要在云端解密数据。苹果并未明确说明此类解密可能给用户带来的风险，也没有回答未来是否会这样做。 PCC 将用于训练模型。 [20] 苹果自有云的安全性仍然面临如此多的质疑，因此如何确保第三方云处理提供足够的安全级别就更具挑战性。

从用户感知的角度来看，当数据已经发送到第三方大模型进行处理时，很多用户无法区分两者，误认为数据仍然受到终端的保护。但事实上，第三方的隐私政策更为宽松，并且添加了敏感信息。泄漏风险。此前，三星员工在使用ChatGPT时，不小心泄露了公司的机密芯片信息。 [21]马斯克还曾表示：“如果苹果在操作系统中集成OpenAI，该公司将禁止使用苹果设备。这被认为是不可接受的安全违规行为。”

结论

不要盲目相信技术，但也不需要“灾难性地担心”[22]。随着技术创新、制度规范、生态建设、用户教育的协同发展，相信AI时代的隐私保护和数据安全解决方案依然可以探索。正如微软AI首席执行官苏莱曼所说：“这里的关键是如何构建一个值得信赖的技术，因为这将是一种非常亲密和个人的体验。我们必须做好安全和隐私方面的工作。我认为真正的挑战是如何设计对话，以便人工智能合作伙伴能够清楚地表达界限，并能够说，‘这是我不准备参与的事情’”[23]。

本期文章主要由腾讯研究院-大模型研究团队撰写：王蓉、钟宇飞、王强、袁媛等。