AI是击穿网络安全的矛?还是守护网络安全的盾?

11

9月21日电(记者 吴家驹)AI是击穿网络安全的矛?还是守护网络安全的盾?

近日,2025年国家网络安全宣传周在昆明开幕,多位网络安全专家在接受采访时,谈及AI给网络安全带来的新风险和新机遇。

360数字安全集团总裁胡振泉认为,AI的安全问题无比复杂,和传统的网络安全问题有着非常大的不同,其中包括:AI生成内容本身的安全性、AI幻觉、提示词注入攻击等问题。

胡振泉进一步表示,当AI变成智能体后,会负责规划很多任务,而如果AI智能体规划的任务执行到很多步后,再发生错乱、随意调度的问题,情况将更加复杂,这是传统网络安全手段无法解决的问题。

天融信科技集团助理总裁张博表示,如今一些大模型被攻击,大模型算法或数据发生泄露,都暴露了大模型在训练、部署、使用等阶段,存在着一定的安全风险。同时,AI降低了网络攻击的门槛,很多攻击者会使用AI,来提升攻击的频度、强度、效率。

奇安信集团副总裁李虎也表示,目前已出现许多用于攻击的AI智能体,甚至已经开始对外提供服务。如果黑客组织使用AI发起攻击,成本会更低,而且更具不可控性。现在大模型的应用越来越广泛,涉及社会生活的方方面面,如果AI的安全性出现问题,将产生非常大的危害。

在南方电网公司数字化部副总经理禤亮看来,AI需要慢慢培育。在培育的过程中,如果数据出现问题,一方面可能导致AI智能体的反应速度下降,另一方面,可能导致AI作出的判断存在误差,这对电网企业和新型电力系统来说是致命的。

AI时代,如何应对网络安全挑战?

张博表示,目前AI赋能网络安全,是行业中非常重要的一个研究方向,国内外不少安全公司都在探索AI与安全技术的结合。例如,把大模型融入到安全设备中,与安全平台和云端安全服务进行联动,形成端侧云端协同的基于大模型的智能化运营体系。

“传统的网络安全软件由人编写,而大模型的智力超过人类,因此应该‘以模制模’,即用大模型来解决大模型的安全问题。”胡振泉认为,应该有专门负责安全的大模型,来监督做业务的大模型,并处理其在做业务过程面临的一系列安全问题,大模型的发展应遵循“安全、向善、可信、可控”的原则。

在李虎看来,我们可以构建大模型的安全“红域”,把大模型训练、微调、应用等各个环节,都纳入到红域中心统一管控,然后再进行区隔化管理,把每个区域分而治之,收缩风险边界。同时,我们需要对大模型的提示词、标注数据、知识库数据等,进行监测和审计。

禤亮表示,为防止AI在应用层面出现偏差,需要有良好的数据治理基础,形成高质量的数据集。同时,需要有专门的团队负责监测AI,并构建监测机制,来使AI朝着我们希望的方向发展。(完) 【编辑:李润泽】

山西石楼:激活生态资源 农文旅融合绘就乡村振兴新画卷

【2024打卡中国】外国网红喊你来巡镇:这是一场属于火的盛宴

推动加入CPTPP,中国开放的大门只会越开越大

【抗疫在基层】在武汉听雪落下的声音

北京7月4日新增2例新冠肺炎确诊病例 均在丰台区

俄乌局势进展:俄称已控制索列达尔市 法国向乌提供轮式轻型坦克

综述:种族灭绝,加拿大社会“隐秘的角落”

江西省第四家“盒马村”落户泰和县 助力老区好产品触网上云

《习近平关于中国式现代化论述摘编》法文版出版发行

中国驻柬埔寨大使馆提醒中国公民关注柬最新入境措施

广东省纪念台湾光复80周年座谈会召开

纽约儿童口罩难买 华人父母改造成人口罩或越洋邮购

蓬佩奥威胁关停全美孔子学院 中方敦促其立即纠正错误

面对面丨十年磨砺 梦想成真 专访世锦赛跳远冠军王嘉男

战“疫”纪录片:重逢

文章版权声明:除非注明,否则均为乐知学堂原创文章,转载或复制请以超链接形式并注明出处。