AI 时代网络安全挑战与技术演进：从威胁应对到体系重构

随着人类经营活动从物理世界向数字世界的迅速扩展，数据已成核心生产资料，但数据之间的关系远未被挖掘，数据之间还很陌生，还未走向互联互通“数据关系”一旦被充分激活，一方面会引发新的创新要素诞生，另外也会引发新的安全问题，而当下，越来越多的资产形式从物理资产演变为数字资产，数据安全成隐患。

李明教授从四个数据发展趋势，用真实存在的案例，逐步解析数据层面的网络安全问题，特别是贴近生活的网络威胁，让参会人员感受到AI时代带来的网络安全挑战。比如Verkada是一家安全摄像头公司。2021 年，瑞士黑客入侵了150,000个实时摄像头。这些摄像头监控着公共部门建筑物（如学校、医院、监狱）和私人企业组织内的活动。

李明教授指出，数据要素成为推动国家数字经济高质量发展重要动能，但各种网络安全攻击与漏洞，包括人为泄露、网络钓鱼、凭据失窃等，给数据流通带来严峻威胁。

其中，生成式AI的爆发式发展带来新型威胁：深度伪造技术被用于制作泽连斯基 “投降视频” 等虚假内容，GPT-4等大模型被证实可自主利用87%的零日漏洞。更严峻的是，具身智能与后门攻击结合，可能引发物理世界与数字世界的双重风险，如基于LLM 的机器狗被用于恶意物理操作。

▲图像、音视频篡改

▲基于LLM的机器狗被用于投放炸弹

除此之外，当AI应用取得用户信任并与其建立了情感联系后，就有可能对用户实施基于情感操纵的攻击。

同时，AI大模型训练数据时也伴随着泄漏隐私信息的风险，这使得网络安全面临严峻挑战。

▲三星员工使用ChatGPT，导致机密信息泄露

AI时代泄露隐私、篡改数据等网络安全威胁就无法解决了么？

接下来，李明教授分享AI时代安全发展趋势，介绍各国出台的人工智能安全治理相关规定以及大模型安全国内外政策要求。

当AI工具被滥用时，不妨利用AI工具反向监管。

• 利用AI对生成内容进行取证与溯源

• 对模型进行管控与对齐

• 对大模型进行合规治理，保证合规合法

• 对隐私进行确权

国内正以实际行动保障AI时代的网络安全。

面对挑战，技术创新呈现三大趋势：

• 密态智算技术：由密码学国家杰青翁健教授提出的面向人工智能的安全计算模式，实现数据“可用不可见”、算法“可信可管控”、算力“可靠可验证”、模型“安全可监管”，支持密态结构数据的安全计算与 AI 模型可信训推，在政务、金融与医疗等领域具有广泛的应用场景。

• 可信数据空间：国家数据局推动的基础设施建设，通过隐私计算、区块链等技术构建跨域数据流通可信环境，计划 2028 年建成 100 个以上可信数据空间。

• 数字水印与溯源：谷歌、OpenAI 等企业采用技术对 AI 生成内容嵌入水印，中国《生成式人工智能服务安全基本要求》明确隐式水印标准，助力内容确权与安全监管。

联合国教科文组织报告显示，全球AI 安全治理正从技术对抗转向体系化建设。李明教授强调：“未来安全体系需融合密码学、AI 安全与可信计算，形成数据全生命周期防护与跨域协同治理的生态。”

最后，李明教授指出，目前AI时代的网络安全已超越技术范畴，成为数字经济发展的基石。从数据内循环到外循环的防护拓展，从单一技术防御到生态体系构建，人类正站在安全范式革命的十字路口。唯有技术创新与治理协同并重，才能在数字文明进程中筑牢安全防线，释放数据要素的最大价值。