在ISC.AI 2026大会期间,360集团首席科学家、集团高级副总裁潘剑锋发表了关于AI安全治理的最新观点。他指出,AI漏洞挖掘技术正以惊人的速度发展,去年还被质疑能否胜任这项工作的AI,如今已让传统安全人员感受到前所未有的压力。这一转变并非预示着安全人员的职业危机,而是整个行业迈向更高层次的标志。
潘剑锋深入分析了传统安全面临的挑战,指出问题不仅在于攻击手段的多样化和攻击速度的提升,更在于计算逻辑的根本性变革。传统软件基于确定性计算构建,人类需要将复杂多变的世界抽象为固定的计算模型。然而,大模型的出现打破了这一模式,计算从确定性转向不确定性,使机器能够直接处理真实世界中的模糊、开放任务,甚至理解人类意图并主动适应。
这种不确定性赋予了AI强大的推理和创造能力,但同时也成为新型安全风险的源头。智能体在处理相同任务时,可能因理解差异、推理路径不同而产生截然不同的结果。潘剑锋将这种不确定性分为外部和内部两方面:外部风险源于攻击者将恶意意图隐藏在用户输入或系统交互中,而大模型可能"误读"这些隐藏指令;内部风险则来自大模型依赖统计规律生成结果的特性,导致幻觉问题,如编造虚假信息或对事件顺序判断错误。
面对这一新形势,潘剑锋提出安全目标应从"防御已知威胁"转变为"管控不确定性"。他介绍了360提出的智能体安全治理框架,涵盖输入层、推理层和执行层三个维度:在输入层,通过恶意意图识别引擎检测隐藏攻击;在推理层,利用世界认知模型提供决策锚点,减少幻觉产生;在执行层,采用环境孪生沙箱技术限制智能体行动范围,确保异常操作可被拦截和回滚。
360在输入层的安全方案依托于其独特的数据优势。潘剑锋强调,恶意意图识别模型的训练高度依赖数据质量,360通过长期积累的搜索、安全攻防和监管合规数据,构建了其他安全厂商难以复制的语料库。实际测试表明,接入该引擎后,开源大模型的安全性可提升10%至30%。在推理层,世界认知模型通过提供对现实世界的内在机制理解,帮助大模型建立更可靠的推理基础。
对于智能体安全市场的未来,潘剑锋预测这将成为一个标准化配置领域,但不会出现单一垄断者。他比喻这个市场将类似于手机行业,既有大型厂商主导主流市场,也为细分领域留下专业化发展空间。同时他澄清,AI厂商不会因模型能力增强而取代专业安全公司,安全领域仍需要深厚的攻防经验和行业知识积累,但AI的发展正在重新定义这个行业的准入标准。













