跳到正文
PharmaBuddy·AI 评分69

EMA 附录 22(人工智能)研讨会纪要解读:业界主张允许生成式 AI 与 LLM 用于 GMP 应用

AI 进 GMP,欧盟松口了:附录 22 拟删掉那句“不得使用

AI 导读

EMA 附录 22(人工智能)研讨会纪要(EMA/156789/2026)显示,业界反馈主张允许生成式 AI 与大语言模型用于 GMP 应用,起草小组讨论了把适用范围扩大到动态模型、概率性模型与生成式 AI/LLM 的路径。

正文

EDITOR’S NOTE

导语

2026 年 6 月 30 日,EMA 把行业里最懂 AI 的一批人关进会议室,开了整整一天。他们讨论的不是“AI 能不能用”,而是“AI 凭什么不能用”。

01

PART

先说结论:那句“不得使用”,快要保不住了

THE LINE THAT MAY DISAPPEAR

欧盟 GMP 指南正在起草一个新附录——附录 22《人工智能》。它不是另起炉灶,而是给附录 11(计算机化系统)补上一层“AI 专用”的说明:当一个计算机化系统里嵌进了 AI 模型,该怎么管。

草案版本里有一句话,几乎把整个制药 AI 生态按住了:

“The document does not apply to Generative AI and Large Language Models (LLM), models with a probabilistic output, dynamic models and models which adapt performance, such models should not be used in critical GMP applications.”

本文件不适用于生成式人工智能与大语言模型(LLM)、具有概率性输出的模型、动态模型以及性能会自适应的模型;此类模型不应用于关键 GMP 应用。

翻译成人话:大模型、概率性模型、会自己变聪明的模型,都不在附录 22 的适用范围里,关键 GMP 应用更是明令不得使用。

但公开征求意见时,行业给出的反馈高度一致:应当允许制药企业在 GMP 应用中使用大模型和生成式 AI——无论是关键还是非关键应用。理由也很直白:不放开,就没有创新投入;没有投入,欧盟的制药业就会在智能制造上落后。

于是起草小组做了两件事:一是讨论把附录 22 的适用范围扩大到动态/自适应模型、概率性模型和生成式 AI/LLM,前提是符合附录要求、并由完整文件化、稳健、基于风险的控制策略支撑;二是——因为“控制策略到底要包含什么”各方仍吵不清楚——专门约了一批 AI 专家开一天会,评估“基于风险的方法”究竟能不能撑起大模型。

这场会的结果,就是本文要拆解的这份 15 页会议纪要(EMA/156789/2026)。

一句话概括会议结论:现有 GMP 原则(尤其是质量风险管理、验证、生命周期管理、监督、委托活动)依然适用于 AI;一个 AI 应用能不能用,不取决于它叫什么技术,而取决于它的预期用途、它带来的风险,以及全生命周期内控制措施是否有效。

这话听起来温和,其实是行业等了很久的一次转向。

02

PART

六个议题,一张地图

SIX TOPICS, ONE MAP

研讨会按六个预设议题展开,顺序在纪要里被打乱了(1、5、3、2、4、6),但逻辑很清楚:从“能不能用”(议题1),到“用在哪、用到什么程度”(议题5、3),再到“怎么保证它不出事”(议题2、4、6)。

  • 议题 1|监管路径:自适应/概率性模型在 GMP 中怎么被容纳
  • 议题 2|技术可靠性与事件响应:护栏能不能拦住幻觉、错误建议、编造数据
  • 议题 3|人为监督与责任归属:还需要多少人盯着,谁负责
  • 议题 4|验证与生命周期管理:模型会变,控制措施怎么一直有效
  • 议题 5|战略风险与合规边界:有没有“无论如何都不能用 AI”的场景
  • 议题 6|网络安全与委托活动:云上的模型,责任在谁

下面逐个拆。

03

PART

议题 1|别拿“技术标签”给 AI 判死刑

TOPIC 1 · REGULATORY PATHWAYS

起草小组抛出的问题是尖锐的:自适应模型怎么纳入附录 22?在高风险、缺陷又难以察觉的区域,质量风险管理还能不能用?

行业的回答很干脆:自适应、概率性、生成式 AI,不应仅凭一个“技术标签”就被排除在 GMP 之外。真正的判据只有两条——能不能证明它适合预期用途,以及相关风险能否在现有的药品质量体系内被控制住。

这场讨论里有一个类比,我认为是整个会议最有力的一段:

不确定性(uncertainty)和模型漂移(model drift)对 GMP 来说并不是全新的概念。测量系统本来就会漂移,校准周期本来就是按风险调整的,生命周期评审本来就用来确认系统是否仍然适用。

讲者特意声明,这个类比不是要把所有形式的 AI 自适应等同于仪表漂移,而是要说明:当系统行为随时间变化时,GMP 里早就有一套“重新确认持续适用性”的机制。

紧接着是最关键的一句立场:

不确定性应该驱动更多的知识生成、更强的生命周期控制、更正式的验证、监测与再验证——而不是自动的禁止。

也就是说:把“不确定”和“不可接受的风险”分开看。不确定,是要求你更用力;不是要求你别用。

会上还要处理几个大模型特有的“病症”:幻觉、编造、谄媚(sycophancy)、认知上的过度自信。监管方追问:这些到底是普通的统计不确定性,还是一种本质上不同的失效模式?回答是:这些行为必须在开发与验证阶段被识别和评价;如果企业无法在考虑这些失效模式的前提下证明其适合预期用途,那么这种使用就是站不住脚的。但会议没有规定具体的技术方法(比如置信区间怎么算、幻觉率怎么估)——把技术细节留给后面的议题。

另外两个被明确写进主词表的概念:

  • 可检测性(detectability)。ICH Q9 里风险的定义是“严重性 × 概率”,而 FMEA 这类方法本来就用可检测性。会议主持人点出一个 AI 特有的要害:在自适应或生成式 AI 里,“无法察觉失效”这件事本身,可能就是一个核心风险因子。
  • 复杂性(complexity)。它本来就是 ICH Q9(R1) 中“正式程度(formality)”的一部分,应当纳入“控制要多严格”的判断。

议题 1 的共识:附录 22 应当保持技术中立、基于原则,但必须讲清楚——AI 模型在用于 GMP 之前,需要有文件化的预期用途、文件化地理解其不确定性、生命周期监测、风险评审,以及相称的控制措施。

04

PART

议题 5|没有禁区,但可以有“此处不用”的结论

TOPIC 5 · STRATEGIC RISK & LIMITS

这是全场立场最鲜明的议题。起草小组想问的是:有没有哪一类关键决策,无论怎么加护栏、加人,都不该让 AI 参与?

行业的回答是:强烈反对一刀切式禁止。

不应存在仅仅因为技术类别或关键性标签就被判定为“不可接受”的决策类别。

可接受性应当逐案评估,看四件事:决策后果、模型影响度、不确定性、复杂性,以及能否把残余风险降到可接受水平。

但请注意,业界并没有把话说满。纪要里明确承认:在某些使用场景下,缓解措施的成本可能过重、不切实际,或者根本不够。这时结论就是——

在该时点、该情境下,这种使用是不成立的;并且这个结论必须被记录下来。

这句话的分量很重:“不用”本身是一个有效的质量风险管理输出。它不是监管强加的禁令,而是企业自己风险评估的结论。这两者在合规逻辑上完全不同——后者是可以被审计、被辩护、被复盘的。

议题 5 还贡献了两个很实用的东西。

第一,“AI 资格档案”(AI qualification dossier)。由一位行业讲者提出,指一个打包提交的证据集合:验证证据 + 训练数据信息 + 围绕提示词与输出的护栏 + 证明系统按预期工作的证据。

第二,检查时到底拿什么给检查员看。监管方问得很实在:你怎么向检查员证明,这些分层控制叠加起来,真能为一个关键决策提供可靠输出?答案是——从风险评估开始:

  • 1.描述风险场景;
  • 2.给出映射到这些场景的控制措施;
  • 3.提供由验证与监测产生的证据。

而监测历史、对信号的响应能力、被文件化的“受控状态”,就是检查证据。讨论还引入了设计即控制(controls by design)、对预期残余风险的持续监测、以及在可行处使用自动化控制。

最后是责任问题。监管问:负责人怎么可能对一个不完全透明的模型负责?回答有两层:

  • AI 的使用不改变原有的规则责任(predicate-rule responsibilities);
  • 负责人可以依赖有资格的专家——就像他们今天面对复杂的生产工艺时本来就做的那样。

责任仍在有资格的、被指定的责任人身上,不能被委托给 AI。

关键性(criticality)本身不足以判断;模型影响度、不确定性、复杂性和可检测性都必须一并考虑。

议题 5 指向的,是一套基于性能的可接受性框架:识别预期用途 → 评估决策后果、模型影响、不确定性、复杂性与可检测性 → 定义控制 → 验证控制 → 监测残余风险 →把“用/不用”的结论文件化。

05

PART

议题 3|人不是“确认按钮”

TOPIC 3 · HUMAN OVERSIGHT

议题 3 处理的是“还要多少人在盯着”。这一节最有价值的,是把一个被行业用滥的词拆成了两个概念:

  • 人为监督(human oversight):一个覆盖全生命周期的治理目标。它问的是——一个有资格、被问责的人,能不能理解、质疑、干预、推翻、否决或上报?
  • 人在环内(human-in-the-loop, HITL):一种具体的实现方式。它指的是——在 GMP 相关流程继续往下走之前,流程会停下来等一个人做出动作。

记住这个区别。因为行业在这里说了一句很硬的话:

HITL 是一种可能的控制措施,而不是所有 AI 应用的默认要求。

同时,监督不能单独当“安全垫”。纪要写得很清楚:护栏可以降低风险,但不能消除“与风险相称的人为监督或问责”的需要;人为监督应当被放进整体控制框架里,而不是当成一个独立的保单。这里还引了两个外部锚点:EU GMP 第一部分第 2 章(人员资质与培训)依然适用;欧盟《人工智能法案》则要求人为监督与风险、自主程度和使用情境相称。

判断“要给多少监督”的判据也被列了出来:错误决策的影响、模型影响度、不确定性、复杂性、重要性。

会议给了一个很生动的用例:偏差管理(deviation management)。当一个模型影响大、不确定性波动大、又复杂时,哪怕 AI 的影响一开始只是“提供信息”,人的介入也应当很高。而随着知识与经验积累,风险画像会移动——可能允许更多的自主、更少的人为介入;反过来,一旦出现新风险,监督就要加强。

监督是生命周期性的,不是一次设定。

问答环节的几个问题,问得比回答更值得记录:

  • 怎么监测“做监督的那个人”的表现?
  • 怎么管理自动化偏见(automation bias)?
  • 审查人需要什么信息和能力?
  • HITL 会不会成为瓶颈?
  • 回退/推翻(fallback/override)该怎么验证?
  • 检查时,怎么证明监督真的发生了?

回应给出的“可作证据的东西”包括:培训、资质、知识考核、审计追踪、对 AI 输出与人工修改的记录、以及对“人机团队”整体表现的监测。自动化偏见被明确承认,需要有意义的监督 + 适当的培训 + 技术手段共同应对。

关于“审查人要懂多少”,这句话我觉得可以贴在每个 AI 项目的墙上:

审查人不需要理解模型的每一个内部细节,但必须充分理解相关的模型原理、工艺过程、输出结果和决策背景——足以对 AI 提出质疑。

还有一条容易被忽略但极重要的判断:

监督本身并不直接纠正风险;它提供的是知识、检测能力和行动的触发点。

所以,人为监督该用什么尺子量?看它是否产出了相关知识,是否通过后续行动真正支持了风险降低。

至于 HITL 能否“抵消”验证不足——这个问题被推到了议题 4,答案是基于风险,而不是一个斩钉截铁的“能”或“不能”。而人的疲劳和操作压力?纪要说得很务实:这些风险并非 AI 特有,应当通过现有 GMP 条款来管理。

议题 3 的落点:附录 22 应当要求“有意义的、基于风险的、被文件化的”监督,而不是默认的、象征性的、一刀切的 HITL。

06

PART

议题 2|护栏不是防弹衣,是“瑞士奶酪”

TOPIC 2 · TECHNICAL RELIABILITY

这是全场技术含量最高的一节。核心模型只有四个字:分层控制(layered control)。

  • 输入侧 / 预防:使用情境核验、分布外检测(out-of-distribution detection)、语义校验、规则化边界
  • 模型内 / 检测:带来源与引用的检索增强生成(RAG)、共形预测(conformal prediction)、不确定性量化、自一致性打分、在可获得时访问模型日志或推理依据
  • 输出侧 / 拦截:硬约束、置信度闸门(confidence gates)、累积和(CUSUM)监测、指数加权移动平均、集成模型分歧度、人工闸门、回退到已验证状态

这套结构对应的是经典的“瑞士奶酪”模型:每一道控制只针对一种失效模式,单看都可能不完美,叠起来才能把风险压下去。

验收用例也很具体,五个场景里有的是试点、有的是理论框架,并非都已投产:

  • 1.在已验证环境边界内的自适应 HVAC 控制;
  • 2.支持偏差管理的Agentic AI系统;
  • 3.支持电子批记录系统 GMP 风险评估的 LLM;
  • 4.用于年度产品回顾数据抽取的 text-to-SQL;
  • 5.用于生物反应器补料的模型预测控制。

讲者反复强调了一句,值得所有做 AI 验证的人抄下来:

护栏是针对特定风险的特定控制措施;不能假定“未预料到的失效模式”已被那些针对已知失效模式设计的控制所覆盖。

后续讨论里还有三个关键判断:

第一,风险评估不是一劳永逸的。有监管问:GMP 里很多控制来自隐性知识和经验,并不来自正式识别的风险——那是不是所有控制都必须从风险评估推导出来?回答是:风险评估受限于当时可用的知识,必须通过生命周期学习、偏差和缺陷不断更新;新知识要回流到风险评估,进而产生新的或修订的控制。

第二,术语之争:附录 22 里该不该出现“护栏(guardrail)”这个词?行业建议主附录用“控制机制(control mechanisms)”更合适,因为“护栏”往往是技术特定的、短命的。共识是:主附录写原则与目标——预防、检测、拦截;技术方法和用例放到附录、问答或其他可更新的载体里。

第三,关于“自研还是买”。讲者的判断是:关键不在于谁拥有模型,而在于能否获得足够的证据去测量它如何工作。如果第三方模型或 API 无法提供必要的输出、推理依据、日志或证据,企业就无法充分测量和论证这个系统。

以及一个务实的回退(fallback)问题:在 HVAC 和生物反应器的例子里,失控或越界会回退到预先验证过的经典控制状态。监管马上追问:如果一个工艺已经完全由模型操作,就不存在这样的经典回退状态了。回答是:这必须在应急预案里被考虑——有时,“接受停机”就是应急预案本身。

07

PART

议题 4|验证不是一次考试,是一条命

TOPIC 4 · VALIDATION & LIFECYCLE

如果说六个议题里有一个把它们串起来的枢纽,那就是议题 4。行业把它称为整个“六柱架构”的中心——因为它同时与监管路径、技术可靠性、人为监督、变更控制、监测和事件响应接口。

这里最根本的观念转变是:

验证应当是一个生命周期,而不是一次性事件。

验证的深度和类型,由预期用途、设计假设、使用情境、数据、训练与验证策略共同定义。纪要列了一长串应当影响验证活动的风险因子:

不确定性、重要性、复杂性、AI 方法的新颖度、供应商经验、模型局限、决策后果、可解释性、自主程度、自适应性。

这些因子共同决定:做哪些验证活动、选哪些控制机制、要什么证据、怎么监测、什么时候触发再验证或变更。

有一条要求被写得很死:用于验证/测试的数据,必须独立于开发与训练数据。

而监管立刻抓住了它的软肋:如果模型在用运行数据持续再训练,独立性怎么维持?答案是:用生命周期机制——定义好的样本、测试集、程序和控制,来保住一条“独立验证”的通道;当模型演化时,由监测和变更控制触发器来决定何时需要额外的验证或再优化。回答并不强制某一种技术路线。

这一节还把前面几个议题的结论接了过来:

  • 人为监督不能替代验证不足,控制的有效性必须被证明;
  • 需要关注自动化偏见、人的偏见、技能水平、AI 素养、可解释性、置信度分数,以及“操作人员能否被挑战和测试”;
  • 生命周期监测应覆盖:事件与问题、CAPA、回滚或干预准则、供应商监督、以及云/服务商变更的可见性。

这里有一条容易被当成“IT 问题”而忽略的合规硬要求:

供应商监督是验证的一部分——因为受监管使用者的责任,不能转移给供应商。

最后一颗种子:用例模式(use-case patterns)。讲者提出,可以为相似的 AI 用例类型开发风险模式(例如网络安全、模型规避、数据投毒),并据此映射适用的控制策略。会议没有得出确定模板,但“可复用的模式”作为后续讨论的方向被记了下来。

议题 4 的最终诉求:附录 22 应当要求一条被文件化的 AI 生命周期——预期用途、设计与确认、独立验证、接受标准、监测、变更控制、再验证/再确认、事件与问题管理、CAPA、供应商监督、定期风险评审。

08

PART

议题 6|先把 AI 还原成一套计算机化系统

TOPIC 6 · CYBERSECURITY & OUTSOURCING

最后一节收得很干净。讲者的出发点只有一句:AI 系统由数据、模型/软件和硬件组成——因此从 GMP 角度看,它们依然是计算机化系统。

由此推论:

只要附录 11 和适用的网络安全标准被正确应用,AI 并不需要在附录 22 里另立一套网络安全体系。

访问控制、审计追踪、供应商资质、持续监测、协议与法律安排,附录 11 已经覆盖。讨论中还引用了NIS2、SOC 2、ISO 27000 系列等框架,并提到欧盟《人工智能法案》包含大量网络安全条款。

第二条核心信息是责任边界:

即使模型、平台或云基础设施由第三方提供,受监管的制药使用者仍然对这套计算机化/AI 系统负责。

职责可以在运营层面被分担,但 GMP 用途的问责,始终留在受监管使用者身上。

关于供应商与云,纪要给出了相当具体的一份“该要什么”:

  • 协议必须写清:责任划分、配置期望、变更控制的参与、证据获取、审计/认证安排、控制措施的透明度;
  • 供应商必须懂制药的要求和语言;
  • 对云与 AI 服务,制药方应要求提供相关控制的证据,涉及数据完整性、匿名化/最小化、适用时的零数据留存、机密计算或可信执行环境、区域要求、联邦学习、数据丢失防护;
  • 这是一套共享责任模型:服务商与客户的责任随IaaS / PaaS / SaaS模式不同而不同。

问答环节直面了一个现实痛点:对大型云供应商很难做实地审计时,靠什么客观保证?答案是:用文件化的证据——认证与合规信息(NIS2、SOC 2、ISO 27000 系列、欧洲框架适用性),再评估其与公司自身要求的匹配度。如果供应商无法满足要求,就应当选择别的方案。

还有一个连接前面议题的判断:当供应商变更的可见性有限时,受监管使用者必须进入变更控制流程,并对控制逻辑保持可见性。因此,委托出去的 AI,其控制与验证生命周期和监测是绑在一起的。

09

PART

这对“AI 进 GMP”到底意味着什么

WHAT THIS MEANS FOR AI IN GMP

把六节拼起来,我想指出六个真正重要的信号。

信号一:监管的锚点,从“你用什么技术”换成了“你怎么证明它可用、可控”。

这是从技术禁令走向风险裁判。技术中立不是放任,而是把举证责任交回企业——你得自己说清楚预期用途、风险和控制。

信号二:ICH Q9(R1) 成了 AI 的“通用语法”。

不确定性、复杂性、正式程度、可检测性——这些原本用于工艺和设备的词,现在被正式用来描述模型。这意味着 AI 不需要一套全新的合规语言,只需要把老语言用对。

信号三:一个新的合规产物正在成形——“AI 资格档案”。

验证证据 + 训练数据信息 + 提示词与输出护栏 + 系统按预期工作的证据。它既是提交给检查员的证据包,也是企业内部的治理抓手。

信号四:人的角色被重新定义。

从“在流程里点确认的按钮”,变成“有能力理解、质疑、推翻并承担后果的人”。HITL 不再是免死金牌,监督必须能被证明有效。

信号五:责任的边界被彻底钉死。

可以外包技术,不能外包责任。用第三方模型、公有云、SaaS 平台,都改变不了受监管使用者对 GMP 用途的问责。

信号六:附录 22 的写法本身,就是一次治理设计。

主文只写原则与目标,技术方法放进可更新的附录或问答。在一个技术半年一迭代的领域,这是让规则跟得上的唯一办法——也是这次会议对监管智慧的一次公开展示。

10

PART

给企业的六个“提前量”

SIX THINGS TO START NOW

  • 1.先把预期用途写清楚。没有文件化的 intended use,后面所有的风险和控制都无从谈起。
  • 2.把“不确定性”和“不可接受的风险”分开论证。前者要用更强的控制回答,而不是用“不能用”回避。
  • 3.从风险评估反推控制,而不是反过来。检查时要看的是:风险场景 → 控制映射 → 验证与监测证据。
  • 4.把控制做成分层的。预防、检测、拦截三层都要有,并且每一层都要有可测量的接受标准。
  • 5.准备回退方案,包括“停机”。如果没有经典回退状态,应急预案本身就必须写清楚。
  • 6.把监督和供应商都写进生命周期。监督要有培训、资质、审计追踪和有效性回顾;供应商要有证据、变更可见性和你的参与。

11

PART

结语

CLOSING

这场研讨会最值得记住的,不是某一个结论,而是它提问方式的转变。

草案的问题是:“AI 这么做,能不能用?”

研讨会把问题改成了:“如果要用,你凭什么证明它现在是可控的,而且以后一直可控?”

前者是标签,后者是能力。对一个把药送进患者体内的行业来说,这个转变才是真正的松绑——松的不是标准,松的是“只认技术出身”的偏见。

附录 22 还在改,六个议题也还有分歧未解。但方向已经写进了纪要的最后一段:在适当的控制和稳健的风险框架下,自适应、概率性和生成式 AI 在 GMP 监管的应用中,可能存在可行的路径——同时继续保护产品质量与患者安全。

参考资料:EMA. Good manufacturing practice (GMP) — Multistakeholder workshop on expert contributions to artificial intelligence guidance development (Annex 22). EMA/156789/2026, 30 June 2026.

来源:PharmaBuddy · mp.weixin.qq.com