Agentic AI即将崛起,伴随新的网络安全风险

Agentic AI即将崛起,伴随新的网络安全风险

根据管理咨询公司Gartner的报告,Agentic AI可能大大提升AI的潜力,预计到2028年,33%的企业软件应用将包含这一技术,而目前这一比例仅为1%。

然而,随着可能带来颠覆性好处的技术发展,Agentic AI也带来了新的风险和安全威胁,这些威胁不仅仅是AI模型和应用本身固有的风险。

迄今为止,大型语言模型(LLMs)并未自主行动,但借助Agentic AI,LLMs能够在最小的人类监督下实现自主行动。它们可以根据环境自我适应,并在复杂环境中执行目标。

这种能力可能大大提高AI的潜力,使其能够通过API或机器人系统,分析数据、进行研究、汇总任务并在数字或物理世界中完成任务。

例如,未来的完全自主的Agentic AI系统能够从环境中学习,做出决策,并独立完成任务。

Gartner将Agentic AI列为2025年最重要的战略技术趋势,并在一份简报中预测,到2028年,AI代理机器将替代20%的数字商店中的人类交互。

到2028年,至少15%的日常工作决策将通过Agentic AI实现自主决策,而2024年这一比例为零。

然而,Gartner警告,用户应当意识到额外的风险:

1、对于标准的AI模型和应用,威胁面通常仅限于输入、模型处理、输出、协调层中的软件漏洞以及托管这些模型的环境。

2、但使用AI代理时,威胁面会扩大,涵盖代理发起的及其参与的事件和交互链条,而这些事件和交互默认对人类或系统操作员不可见,也无法被制止。

其中的一些威胁包括:在代理事件链条中,数据可能被暴露或泄露;AI代理可能会犯下未经授权、无意或恶意的编码逻辑错误,导致数据泄露或其他安全威胁;以及使用来自第三方网站的库或代码为代理提供支持的供应链风险。

为了应对这些威胁,建议IT领导者应教育企业了解AI代理的内在风险,这些代理可能在企业产品中得到推广,并采取措施加以缓解。应对措施包括:检测并标记异常的AI代理活动及违反特定企业政策的活动;查看并映射所有AI代理活动及信息流。

目前,企业已开始实施或定制具有AI代理功能的产品,包括微软的Copilot Studio、Azure AI Studio、AWS Bedrock和谷歌的NotebookLM。

然而,当前基于大型语言模型(LLM)的助手与完全成熟的AI代理之间仍存在较大差距。Gartner表示,预计这一差距首先会在狭窄范围的活动中得到弥合,并可能随着全球在构建、管理和信任Agentic AI解决方案方面的经验积累而扩展。

未经允许不得转载:A5数据 » Agentic AI即将崛起,伴随新的网络安全风险

相关文章

contact