2026-09-14 · 来源：{'name': 'ITWorld Korea', 'url': 'https://www.itworld.co.kr/article/4220552/%ec%a0%95%ec%b1%85%ec%97%90%ec%84%9c-%ec%bd%94%eb%93%9c%eb%a1%9c-%ea%b7%9c%ec%b9%99%ec%97%90%ec%84%9c-%ec%97%94%ec%a7%84%ec%9c%bc%eb%a1%9c-ai-%ea%b1%b0%eb%b2%84%eb%84%8c%ec%8a%a4%ec%9d%98.html'}
Adnan Masood指出,缺乏工程化治理的生成式AI项目将始终困在试点阶段——政策必须转化为可执行的规则、可采信的证据与漂移度量。
治理的成败,决定生成式AI项目是始终困在试点阶段,还是成长为可长期依赖的能力——这是Adnan Masood在ITWorld Korea一篇分析文章中的观点。他将治理视为一项工程工作:把政策嵌入构建时与运行时控制之中,以管控访问、约束行为、收集证据并度量漂移——他称之为'设计即治理'(governance by design)。目标很简单:即便条件不断变化,系统也必须日复一日地在政策边界内运行。政策变成可执行的规则,证据作为正常运营的副产品自然生成,而在部署管道内部运行的治理反而加快了交付速度。
企业早已熟悉这一模式:支付系统内建欺诈与拒付防范机制,客户数据平台则嵌入同意管理与数据留存控制。生成式AI需要同样的待遇,因为它越来越多地跨越数据边界、生成内容,并通过工具直接采取行动。
起点是立足实际用例构建的威胁模型——一份简明扼要的清单,说明哪些环节可能出问题、谁会受害、控制措施应设在何处——保持具体,并聚焦生产环境的真实故障。Masood列举了五类威胁:一是数据经由提示词、日志或模型输出暴露,使敏感数据快速跨越信任边界;二是提示词注入与间接指令,用户消息或检索到的文档可能诱导不安全行为;三是来源完整性风险,看似无害实则陈旧、不准确或遭篡改的文档经由检索浮出水面;四是工具滥用,因为智能体与助手可以通过API和工作流工具写入记录系统;五是模型与提示词漂移,系统会随模型更新、提示词修改和数据刷新周期而变化。
控制措施应循着这份威胁模型展开。Masood反对仅将控制局限于流程阶段;运行时与CI控制能减少对人工记忆和手动审查的依赖。
萬安算交所 AIXX · 算力硬件实名会员制交易平台 · 进入货源大厅