360首席科学家潘剑锋:智能体安全的核心,是驾驭AI不确定性

  新浪科技讯 6月26日下午消息,在ISC.AI 2026大会期间 ,360集团首席科学家、集团高级副总裁潘剑锋表示,“去年大家还在怀疑,AI能不能干好漏洞挖掘的活儿;今年 ,AI漏洞挖掘已经把安全人员逼到了墙角 。 ”

360首席科学家潘剑锋:智能体安全的核心,是驾驭AI不确定性-第1张图片

  在他看来,这并非安全人员的淘汰危机 ,而是整个行业加速升级的信号 ,并针对智能体的天然安全短板,提出了“驾驭AI不确定性”的全新安全治理范式。

360首席科学家潘剑锋:智能体安全的核心,是驾驭AI不确定性-第2张图片

  潘剑锋认为 ,传统安全面临的挑战,并不只是攻击手段增多 、攻击速度加快,更深层的原因是计算逻辑发生了变化。

  传统软件建立在确定性计算之上 ,人把不确定的世界抽象、建模为确定的计算,这是人适应机器 。但大模型出现之后,计算从确定走向了不确定 ,模型能够直接处理模糊、开放 、充满变化的真实世界任务,机器可以理解人类意图、反过来去适应人了。

  这种不确定性赋予了AI推理、创造和处理复杂任务的能力,也成为智能体新型安全风险的根源。即便输入相同的任务 ,智能体也可能产生不同的理解 、推理路径和行动结果 。

  潘剑锋将这种不确定性分为一体两面 。

  一面来自外部。攻击者不再需要直接下达明显的恶意指令,而可以把恶意意图隐藏在用户输入 、系统提示、工具返回等内容中。人未必能看出其中的危险,大模型却可能“读懂”隐藏指令 ,进而实现模型注入、指令覆盖等 。

  另一面来自内部。大模型依赖统计规律生成结果 ,不具备对现实世界的完整 、稳定认知,因此无法彻底避免幻觉,比如编造不存在的实体、对事件顺序和持续时间的认知错误等。同时 ,当智能体开始连续推理、调用工具,甚至与其他智能体协同工作时,一个看似微小的判断错误 ,可能沿着任务链不断传递和放大 。

  潘剑锋认为,智能体时代的安全目标需要从“防御确定威胁 ”,转向“管控不确定性”。

  围绕这一变化 ,潘剑锋在主题演讲中提出了360智能体安全治理的整体思路:在输入层识别恶意意图,在推理层减少幻觉和错误判断,在执行层限制智能体的行动边界。这套思路背后的逻辑是 ,不确定性很难被彻底消除,但可以被识别 、约束和兜底 。换句话说,安全不能保证AI永远不犯错 ,但必须确保错误不会直接演变成安全事故。

  在输入层 ,360通过恶意意图识别引擎,识别隐藏在用户输入、系统提示、工具返回中的攻击意图,防止智能体被诱导 、越狱或劫持任务目标 ,其解决的核心思路是“以模治模”。对于外界普遍关注的360差异化问题,潘剑锋将关键归结为两个字:数据 。

  “恶意意图识别模型的专项训练越来越由数据决定。 ”他表示,360长期积累了搜索、安全攻防及监管合规等多类数据 ,形成了一般安全厂商难以获得的语料资源。实测显示,接入360恶意意图识别引擎后,开源大模型的整体安全性可提升10%至30% 。

  在推理层 ,360通过自研的世界认知模型,为大模型提供理解世界内在机制、预测未来状态 、辅助决策的“认知锚点 ”,约束和引导大语言模型的推理过程 ,从根源上抑制大语言模型的幻觉 。

  在执行层,环境孪生沙箱则为智能体划定安全的行动半径,对工具调用、数据访问和系统操作进行监控 ,出现异常时及时拦截和回滚。

  对于未来的市场格局 ,潘剑锋判断,智能体安全将成为每个智能体的标配基础设施。

  但这一市场不会被一家厂商完全垄断 。“它可能更像手机行业,几家大型厂商占据主要市场 ,同时不同细分领域仍然存在大量专业化空间。”

  他同时强调,AI厂商并不会因为模型能力增强,就直接取代安全公司。安全仍然是一个高度垂直、依赖攻防经验和行业知识的专业领域 。但AI的发展 ,已经开始重新划定安全行业的门槛。

标签:

相关推荐

  • SK海力士股票收盘暴跌15.4% 创纪录最大跌幅

    SK海力士股票收盘暴跌15.4% 创纪录最大跌幅

      SK海力士股票收盘暴跌15.4%,创纪录最大跌幅。...

    2026/07/13
  • 橡胶今天期货行情(橡胶今天期货行情最新消息)

    橡胶今天期货行情(橡胶今天期货行情最新消息)

    新加坡橡胶期货实时费用〖壹〗、截至最近时间点,新加坡市场部分橡胶期货的实时费用如下:20号合成胶当月连续(TF00Y)最新价为25,SG橡胶期货主连(2607,TFMAIN)最新价为219,SG橡胶当期期货(2605,TFCURRENT)最新价为214。〖贰〗、新加坡橡胶期货的代码是SGXRS。新加坡是世界上重要的橡胶期货交易中心之一,其橡胶期货合约以东...

  • 【新疆疫情的最新情况,新疆疫情最新消息新增病例】

    【新疆疫情的最新情况,新疆疫情最新消息新增病例】

    新疆哪里发生过非洲猪瘟疫情〖壹〗、新疆地区非洲猪瘟疫情发生情况如下:乌鲁木齐市米东区疫情2025年4月3日确诊,米东区某养殖合作社存栏生猪200头,发病15头,死亡15头。这是新疆最新通报的疫情案例。〖贰〗、新疆地区非洲猪瘟防控情况:最新疫情动态2025年4月乌鲁木齐米东区某养殖场发生非洲猪瘟疫情,发病15头全部死亡。当地已采取扑杀、无害化处理和封锁措...

  • 今天大连鸡蛋费用行情/今日大连鸡蛋费用

    今天大连鸡蛋费用行情/今日大连鸡蛋费用

    2025年9月15鸡蛋费用〖壹〗、025年9月15日鸡蛋费用呈现地区性差异,全国主产区均价约67元/斤,主销区均价06元/斤。全国基准费用根据生意社数据,当日鸡蛋基准价为35元/公斤(约合68元/斤),较上月同期小幅波动。产区供应量稳定,终端消费需求保持平稳,费用整体处于季节性正常区间。〖贰〗、025年9月15日,桃源三尖鸡蛋费用处于阶段性高位,普通鸡蛋...

  • 科华数据与海德智算达成战略合作

    科华数据与海德智算达成战略合作

      科华数据(002335)官微显示,近日,海德智算(青海)有限公司与中国通用机械工程有限公司考察团近日抵达公司总部进行考察。考察期间,科华数据与海德智算正式签署战略合作协议,双方将围绕高海拔商用智算中心项目开展全周期合作,并同步完成订单签约。  科华数据副总裁陈晓详细介绍了公司在智慧电能、数据中心及清洁能源三大领域的战略布局与技术成果,重点阐述了模块化UP...

    2026/07/13
  • 31省份昨增5例本土死亡病例涉5省/31省份昨增10例本土确诊

    31省份昨增5例本土死亡病例涉5省/31省份昨增10例本土确诊

    5月15日31省份新增本土140+1019有哪些省〖壹〗、月30日0—24时,国家卫健委公布全国31个省(自治区、直辖市)和新疆生产建设兵团新增本土确诊病例91例,均位于内蒙古呼伦贝尔市;新增境外输入确诊病例22例,无新增死亡及疑似病例。〖贰〗、据国家卫健委数据,连续两日,全国单日新增新冠感染者破万。11月11日,全国新增感染者超过1万。广东省、河南省、重...

  • 【铜大非农行情,非农数据和铜价】

    【铜大非农行情,非农数据和铜价】

    美国非农数据对铜价有什么影响综上所述,美国非农数据对铜价的影响是多方面的,既包括经济增长预期和美元汇率的直接影响,也包括市场情绪和投资者信心的间接影响。因此,投资者在进行铜交易时,应密切关注非农数据的公布,并结合其他相关因素进行综合分析,以做出更明智的投资决策。美国非农就业数据超预期对沪铜期货费用的影响是复杂的,既存在因经济扩张而推动铜价上涨的正面因素,也...

    2026/07/13
  • 橡胶费用最新行情今天(橡胶费用最新行情今天走势)

    橡胶费用最新行情今天(橡胶费用最新行情今天走势)

    废旧橡胶回收费用是多少〖壹〗、橡胶废品的回收费用因种类、品质和地区差异而异。一般来说,普通的废旧橡胶每公斤回收费用在1元到3元左右。以下是详细的解释:橡胶废品因其独特的材质和价值,在废品回收市场中有一定的地位。由于橡胶废品需要经过专业处理才能重新利用,其回收费用受到多种因素影响。其中,橡胶的种类是一个重要指标。〖贰〗、近来全国各地的废旧轮胎资源丰富,废旧橡...

  • 商汤发布并开源SenseNova-Vision

    商汤发布并开源SenseNova-Vision

      商汤正式发布并全面开源日日新SenseNova-Vision理解生成统一视觉大模型。SenseNova-Vision的核心变革是:让视觉成为通用基础模型的原生能力,彻底融入大模型体系。所有经典视觉任务如目标检测、图像分割、深度预测、3D重建等,由此都实现了原生统一。(文章来源:科创板日报)...

    2026/07/13
  • 石家庄疫情拐点/石家庄新冠拐点

    石家庄疫情拐点/石家庄新冠拐点

    河北石家庄累计检出阳性人员354人,主要集中在哪?河北石家庄累计检出阳性人员354人主要集中在藁城区。从1月6日凌晨,石家庄市对全体市民进行了全员的核酸检测,到昨天晚上12时检测全部结束,并且有了结果。检测的对象一共是10251875人,累计检出阳性人员是354人。检测发现特点如下:①集中度高。阳性人员分布在石家庄12个县市区,但主要集中在藁城区,藁城区共...

返回顶部