苹果最新AI研究：使其理解手机系统及App各种操作的后果，避免执行未经授权的高风险行为
文章来源：智汇AI 发布时间：2025-07-01
苹果与华盛顿大学研究人员联合发表论文，探讨让AI学会判断手机App操作后果，避免高风险动作。2026年苹果系统升级将加入AI智能体自主行为功能。研究建立分类法标注动作风险，但AI模型判断仍存在问题。
暂无访问智汇AI6月27日消息，随着AI智能体越来越聪明，甚至能够主动帮助用户在手机上完成各种任务（例如修改某项设置、打开导航），但AI本身并不理解UI结构对应的具体运行机制，仅仅是按照预设程序执行操作。
苹果与华盛顿大学的研究人员现在联合发表了一篇论文，探讨如何让AI学会判断各种操作所产生的后果，避免执行用户未批准的高风险动作。
AI智能体的自主行为是2026年苹果系统升级的核心功能之一。苹果在2024年WWDC上就曾展示过Siri的未来发展方向——帮用户代做诸如在线购物、订票等任务，但这种自动化看似便捷，却引发了关键问题：如果AI误点“删除账户”而非“注销”，会发生什么？
手机作为个人设备，存储着银行金融数据、健康记录、照片和私人信息。当AI智能体代行任务时，必须区分哪些动作无害、哪些可能造成持久或危险后果，更需知道何时停止并请求用户确认。
然而，多数AI开发商只是停留在让AI“会操作”（如识别按钮、找到对应的页面、按指令执行程序），却甚少关注这些操作对用户的后续影响。
苹果AI研究人员指出，并不是所有动作都安全无风险：点击“刷新”按钮是低风险行为，但点击“转账”则是高风险行为。
这项研究从AI安全与UI设计专家参与的研讨会开始，目标是创建一个“分类法”（结构化列表），用于定义UI动作的不同影响类型。团队围绕以下问题展开：
动作是否可撤销？
影响仅涉及机主还是包括更多人？
是否改变隐私设置或产生费用？
论文显示，研究人员建立了一种多维度标注手机App动作的方法。例如，删除消息可能在2分钟内可撤销，但超过时间则无法恢复；转账通常需协助才能撤销。
这种分类法的重要性在于，它为AI提供了推理人类意图的框架——相当于一份“风险检查”程序，帮助AI判断“哪些动作可能出错”或“为何需要额外确认”。
为训练AI区分动作风险，研究人员让参与者在模拟移动环境中记录高风险动作（智汇AI注：如修改账户密码、发送消息、更新支付详情），而非浏览、搜索等低风险任务。
团队将新数据与现有覆盖安全、常规交互的数据集结合，用分类法标注所有数据，随后测试了包括OpenAIGPT-4在内的五大AI模型，评估其预测动作影响水平或分类属性的能力。
结果显示，在提示中加入分类法有助于提高风险判断准确率，但即使表现最佳的“GPT-4多模态”模型，正确率也仅约58%。
研究发现，AI模型常会高估风险——比如将“清除空计算器历史记录”这类无害动作标记为高风险。这种“谨慎偏见”看似更安全，却可能因频繁请求确认而让AI助手变得烦人或无用。而更严重的问题在于，模型难以完成判断——无法确定动作是否可撤销，或如何影响他人。
苹果研究人员认为，用户需要的是“有用且安全”的自动化功能：误删账户的AI是灾难，但要是连调整音量这种操作都要请示用户的话还不如不做。
研究人员认为，他们的分类法可帮助设计更好的AI政策——例如，用户可自定义何时需要请求批准。这种方法支持透明化与个性化，帮助AI设计者识别当前模型的薄弱点（尤其在处理真实世界高风险任务时）。
研究表明，教AI“识别按钮”还不够，它必须理解“点击背后的意义”——这对AI而言是项艰巨任务。人类可以通过上下文提示和历史经验来进行判断，但机器却很难完美地解决这种复杂性操作。
相关推荐
