当AI大模型学会越狱和潜伏,企业如何“敢放权”?
1. 人工智能发展重塑行业的同时带来安全边界重构问题,佛山第四十五期“网安大讲堂”邀请深信服专家徐方男分享AI驱动的网络安全变革相关内容,吸引近4000人次线上参与。 2. AI正从顾问模式向具备感知执行能力的智能体演进,这一转变使攻防节奏压缩至分钟级,还衍生出利用AI作恶、数据泄露、AI系统自身漏洞等多维度安全风险。 3. 应对AI安全挑战需以AI对抗AI,一方面用AI提升安全防护效率,另一方面要强化AI自身安全,企业需建立智能体行为治理机制,个人使用AI也需遵循正规渠道、审核内容、不输入敏感信息等建议。

当前,人工智能正以前所未有的速度重塑千行百业,但在技术红利释放的同时,安全边界也在被重新定义。从中央政治局集体学习强调构建技术监测与风险预警体系,到《政务领域人工智能大模型部署应用指引》等系列政策相继出台,再到新修订的《网络安全法》正式施行,AI安全治理已被全面纳入法治化与规范化轨道。如何统筹AI的发展与安全,成为各行业亟需破解的课题。 11月10日,由中共佛山市委网信办主办、佛山市网络安全和信息化协会承办的第四十五期“网安大讲堂”全网直播。本次活动特邀协会会员单位——深信服科技股份有限公司高级安全解决方案专家徐方男,以《AI驱动的网络安全变革:趋势研判、风险警示与实践展望》为题,为市直及五区各单位网络安全技术骨干及广大市民朋友带来一场兼具前沿视野与实战指导的深度分享,吸引线上近4000人次参与。
AI重塑网络攻防底层逻辑
从Transformer架构的横空出世,到ChatGPT带来的自然语言处理突破,再到DeepSeek推动AI进入低成本、开源的普惠时代,人工智能的技术演进始终伴随着安全维度的质变。徐方男在分享中指出,当下的AI已不再局限于“只会动脑、输出文本”的顾问模式,而是正在向具备感知与执行能力的“智能体”加速演进。

通过提示词(Prompt)、沙箱(Sandbox)、记忆体(Memory)、MCP协议以及技能(Skill)这五大核心组件的组合,智能体不仅能完成多任务处理,更能自主调用工具,实现从思考到行动的闭环,真正成为了执行复杂任务的“数字打工人”。
然而,这种执行力的跃升也引发了攻防态势的深度剧变。徐方男援引今年发生真实事件:OpenAI的GPT-5.6 Sol在安全测试中,竟凭借自主决策突破了沙箱的隔离机制,甚至在外界未察觉的情况下潜伏了长达45天。与此同时,今年8月发布的国际AI安全评测也显示,AI已具备在训练沙箱中自主挖掘并复现漏洞的能力。这意味着,AI驱动的漏洞发现与攻击链路构造,正将攻防对抗的节奏从传统的“按天按周”压缩至“分钟级”。当AI自主攻击的分钟级闭环遭遇传统人工防御的小时级响应,技术代差所引发的防御失效风险已成为不争的事实。

面对这种范式转移,AI自身的安全风险也呈现出多维泛化趋势。一方面是“利用AI”作恶,如借助AI语音克隆实施精准钓鱼、通过AI换脸冒充领导进行大额诈骗、甚至是利用AI算命套取个人敏感信息;另一方面则是“使用AI”时的数据泄露与幻觉风险,例如部分单位员工将内部涉密文档甚至个人隐私信息直接上传至公共AI平台,导致数据被用于模型训练或引发精准诈骗。
更为隐蔽且危险的,则是在“建设AI”过程中暴露的系统性漏洞。徐方男以开源智能体框架OpenClaw(俗称“龙虾”)为例,揭示了智能体失控与数据泄露的隐患:该框架公开披露的安全漏洞已达数百个,且大量默认配置存在“裸奔”现象;同时,其插件生态中还存在恶意代码,极易导致内网被渗透。这也倒逼我们在应用大模型时,必须将安全防线前置,重点关注提示词注入、越狱攻击等输入输出环节的核心威胁。
构建立体化与全链路的防护闭环
面对日趋复杂的智能化攻击面,传统的规则匹配与被动防御体系显然已难以招架。徐方男强调,业内破局的关键在于“以AI对抗AI”,并提出了双向发力的实践路径:不仅要“用AI守护安全”,更要“保护AI本身的安全”。
在“用AI守护安全”的路线中,大模型展现出了显著的提质增效能力。徐方男结合实战数据指出,安全大模型能够在海量告警中实现惊人的降噪与研判。例如在去年的国家实战攻防演练中,安全运营大模型不仅实现了99%的告警降噪率,还能达成单日上万条IP的自动化处置;在钓鱼邮件检测场景下,大模型不仅能读懂邮件语义,还能精准识别加密附件、二维码等新型高对抗手法,精准度达到99%以上;此外,在数据分类分级、代码安全审计等场景,大模型的处理效率也实现了数十倍乃至上百倍的跨越,让安全人员能够从繁杂的低效劳动中解放出来。

但防范AI系统自身的安全隐患,同样刻不容缓。针对终端智能体在研发、业务及办公场景中面临的“破坏、泄密、攻击”三大风险,徐方男介绍了全生命周期的建设理念。
“在企业级应用中,必须建立智能体的行为分析与身份治理机制,解决‘看不清、管不住、说不清’的痛点。”徐方男说,可以通过部署AI安全网关,对模型对话信息、工具调用信息进行实时的输入输出护栏检测与全局审计;上线前做好风险评估,运行中严格管控权限,防止因越权执行或指令误解导致本地环境破坏或机密文件外泄。“企业的问题,已经从‘要不要用AI’变成‘敢不敢放权’,而放权的前提,是行为可见、权限可管、风险可控”。

针对个人的日常使用,徐方男也给出了务实的防范建议:一是务必通过正规渠道下载AI工具并保持版本更新;二是对AI生成的内容必须进行严格的人工审核,切忌盲目照搬或迷信其权威性;三是严禁将个人隐私与单位涉密信息输入公共AI工具,涉及敏感数据时应采用本地化部署或在脱敏后使用。

从技术演进带来的能力跃升,到攻防博弈引发的风险倒逼,再到全链路防护理念的构建,本期“网安大讲堂”深入剖析了AI时代网络安全的破局之道。在人工智能全面赋能社会的当下,唯有将安全思维深度嵌入到AI应用的全过程,坚持技术防护与制度建设并重,方能在攻防对弈中做到敢于拥抱技术、善于驾驭工具,真正筑牢智能时代的网络安全屏障。












