知识亮点 24 February 2026

2026年1月22日,新加坡在瑞士达沃斯世界经济论坛上宣布推出《智能体人工智能治理示范框架》(“框架”)。该框架为各类机构如何负责任部署人工智能(“AI”)智能体提供了指引,并建议采取技术和非技术措施以降低风险,同时强调人类责任归属。该框架支持以负责任方式推动人工智能的开发、部署和应用,符合新加坡在AI治理方面务实且平衡的方针——既设置必要的防护栏,又为创新提供空间。

这份全球首创、旨在保障可靠、安全部署智能体AI的框架,由新加坡资讯通信媒体发展局(“IMDA”)制定,并在2020年推出的《人工智能治理示范框架》基础上升级而成。

智能体AI及其风险

与传统AI和生成式AI相比,AI智能体可自主执行操作、适应新信息,并与其他智能体和系统交互,代人类完成任务。这有助于机构自动化处理重复性任务(例如与客户服务和企业生产力相关的任务),并通过解放员工时间使其从事更高价值的活动推动行业转型。

然而,这些更强大的能力也带来了新的风险。AI智能体对敏感数据的访问权限以及对其环境进行更改的能力(例如更新客户数据库或进行支付),可能会导致未经授权的或错误的操作。AI智能体能力和自主性的增强,也对有效落实人类责任构成了挑战,例如可能加剧自动化依赖偏见,即过度信任过去表现可靠的自动化系统。因此,认识智能体AI可能带来的风险,并确保机构实施必要的治理措施以负责任地利用该技术至关重要。这包括对AI智能体保持实质有效的人类管控和监督。

智能体AI部署风险治理指引

该框架针对的是希望部署智能体AI的机构(无论是通过内部开发AI智能体还是使用第三方智能解决方案),系统梳理了智能体AI的相关风险,以及应对这些风险的前沿最佳实践。

该框架就部署负责任的AI智能体所需采取的技术和非技术措施,向机构提供指引:

  • 预先评估并限制风险:机构需理解AI智能体行为带来的新风险,并调整其内部结构和流程以应对这些风险。为尽早管控这些风险,机构可在规划阶段设计适当的边界来限制AI智能体的影响范围,例如限制其对工具和外部系统的访问。它们还可以通过为AI智能体建立完善的身份管理和访问控制,确保其行为可追溯、可管控。
  • 确保人类承担实质责任:清晰界定不同利益相关者(包括机构内部及与外部供应商之间)的责任至关重要,同时要强调适应性治理,以便机构能够迅速理解新发展,并随着技术演进更新其方法。这包括在智能体工作流程中设定需要人工审批的重要节点(例如高风险的或不可逆操作),并定期审计人工监督,以确保其持续有效。
  • 实施技术控制和流程:机构应在AI智能体全生命周期中实施技术措施,确保其安全可靠的运行。在开发期间,机构应为新增智能体模块(如规划、工具以及尚不成熟的协议)设置技术管控,以应对这些新攻击面带来的更高风险。在部署前,机构应对AI智能体进行基础安全和可靠性测试,包括整体执行准确性、合规性、工具使用情况等新维度,这需要采用新的测试方法。在部署期间和部署后,由于AI智能体与其环境动态交互,并非所有风险都能预先预料,因此建议分阶段逐步上线,并在部署后持续监控。
  • 强化终端用户责任:作为基本要求,应告知用户AI智能体的行动范围、数据访问权限以及用户自身需承担的责任。机构还应考虑分层提供培训,使员工具备管理人机交互和进行有效监督所需的知识与能力。

动态更新的文件

在制定该框架时,IMDA吸纳了政府机构和私营部门的反馈意见。鉴于AI领域发展迅速,IMDA将该框架视为一份动态更新文件,并欢迎各方提供反馈意见以完善该框架,同时欢迎提交案例研究,展示如何应用该框架负责任部署智能体AI。

查看更多观点