跳到正文
小易说合规· 合规晓月·AI 评分67

EMA Annex 22人工智能研讨会报告解读:人在环中HITL不等于完整人工监督

EMA Annex 22研讨会最新信号:人在环中(HITL)就够了吗?

AI 导读

EMA于2026年10月2日发布《Annex 22人工智能多方利益相关者研讨会报告》,指出人在环中(HITL)只是人工控制的一种方式,不等同于完整的人工监督。报告把人工监督列为覆盖设计、开发、验证、部署、运行、监测、变更、事件处理与退出的全生命周期治理目标,HITL只是其中一种实施模式,并非所有AI用途的默认要求,并提出区分HITL与HOTL旁路监控。

正文

当AI开始参与GMP活动,如偏差管理、风险评估、电子批记录审核、环境控制甚至放行决策时,“只要在AI流程中安排人工审核”,是否就足够满足GMP要求?

2026年10 月2日,欧洲药品管理局(EMA)发布的《Annex 22“人工智能”多方利益相关者研讨会报告》,释放出一个重要信号:人在环中仅仅是人工控制的一种方式,不等同于完整的人工监督,也不能证明AI系统已经处于受控状态。

一、HITL解决什么问题?

“Human-in-the-loop, by contrast, is where the process waits for a human action before a GMP-relevant workflow proceeds.”

人在回路是指,在与GMP相关的工作流程继续推进之前,流程必须等待人工采取行动。

HITL的核心在于“等待人工动作”。例如,AI生成偏差分类建议后,流程等待质量人员确认;AI提出风险评估结论后,人员必须审核、修改或拒绝;AI建议调整工艺参数后,必须由具备资格的人员批准。

但是,HITL只能解决流程节点问题。它不能证明审核人员是否理解AI、能否识别错误、是否有权拒绝和覆盖,以及人工审核是否会流于形式等问题。

二、Human Oversight比HITL更系统

“A key distinction was made between ‘human oversight’ as a broad lifecycle governance objective and ‘human in the loop’ as one specific implementation pattern.”

人工监督是广义的全生命周期治理目标,而人在回路只是其中一种具体实施模式。

人工监督覆盖AI系统设计、开发、验证、部署、运行、监测、变更、事件处理和退出,而不是某个岗位的一次性批准。

“Human oversight asks whether a qualified, accountable human can understand, challenge, intervene, override, reject or escalate.”

人工监督关注的是:具备资格且承担责任的人员,是否能够理解、质疑、干预、覆盖、拒绝或升级处理AI输出。

报告提出人工监督通过文件化QRM流程设计,与模型风险特征和使用情境相适应。企业应考虑决策影响、模型影响、不确定性、复杂性、自治程度和错误可检测性。

三、HITL不是所有AI场景的默认要求

“Human-in-the-loop is one possible control, not a default requirement for all AI uses.”

人在回路是一种可能的控制措施,并不是所有AI用途的默认要求。

低风险场景可以采用周期性复核、抽样检查、趋势监测或异常触发式审查;中等风险场景可以对关键输出采用HITL、对整体运行采用HOTL(旁路监控 / 人在环旁);高风险场景则可能需要强化HITL、第二人复核、人工覆盖和回退策略。

真正的要求不是所有AI都必须逐项人工审批,而是人工控制方式应根据预期用途和质量风险进行选择,并能通过证据证明其有效性。

四、关注HITL最容易出现的问题:人工变成“摆设”

当AI输出长期看起来专业、稳定、快速时,人员可能降低独立判断程度,出现“系统说什么,我就确认什么”的自动化偏差。

因此,HITL不能只有批准动作,还应保存AI原始输出,记录人工修改、拒绝、时间、身份和理由,并监测人工修改率、拒绝率和错误接受率。高风险输出还应考虑第二人复核,并对审核人员开展AI局限和自动化偏差培训。

五、HITL之外,还需要HOTL

什么是HOTL(Human-on-the-Loop,旁路监控 / 人在环旁)?

监督人员处于“旁路”位置,通过监控终端实时调阅运行指标、观察模型状态及接收异常警报,保持对系统的持续可见性与知情权。

报告提出在Annex 22中区分HITL和HOTL。HOTL可以理解为:系统在预定边界内运行,人员不必逐项批准每一个输出,但应通过指标、趋势、状态和报警进行旁路监控,并在达到触发条件时介入。

HOTL不等于没有人工责任。企业需要明确监测指标、接受标准、报警阈值、模型漂移指标、异常率、监测频率、响应时限、升级路径、干预权限以及回退和停机条件。

HITL和HOTL可以组合使用:关键输出采用HITL,系统整体错误率和异常趋势采用HOTL,异常时再触发人工覆盖或回退。

六、Fallback和Override:AI失效纠偏手段

“Output controls included hard constraints, confidence gates, ... human gates and fallback to validated states.”

输出控制包括硬性约束、置信度关卡、人工关卡以及回退到已验证状态。

Override通常是人员主动推翻、修改或拒绝AI输出;Fallback通常是系统或人员切换到预验证的经典控制、备用系统、安全状态或停机状态。

在HVAC和生物反应器案例中,故障或行为超出边界时,系统回退到预验证的经典控制状态。如果没有可靠的经典回退方案,停机可能就是应急措施。企业应明确不可接受输出、触发阈值、覆盖权限、回退目标、停机条件和恢复路径,并对这些机制进行验证。

七、人工监督不能替代验证

人工监督和控制机制不能弥补系统验证不足。企业仍需证明模型适合预期用途,输出达到接受标准,人员能够识别关键错误,人工覆盖有效,回退状态经过验证,模型更新后监督策略仍然适用。

如果模型本身不适合预期用途,仅仅增加一个人工审批节点,并不能自动使系统合规。人工监督是风险控制,不是验证的替代品。

八、最终责任仍在受监管用户

“Accountability remains with qualified/responsible persons and cannot be delegated to AI.”

责任仍由具备资格的责任人员承担,不能委托给AI。

“The regulated user remains accountable for the computerised/AI system even when a third party provides the model, platform or cloud infrastructure.”

即使模型、平台或云基础设施由第三方提供,受监管用户仍对该计算机化/AI系统承担责任。

供应商可以承担技术和合同责任,但受监管用户仍需对GMP用途、风险控制、验证、持续运行和质量结果负责。

九、企业如何建立完整人工控制链?

第一,建立Human Oversight框架,明确AI预期用途、使用边界、风险等级、人员职责、监督频率、干预权限、升级要求和监督有效性评价方式。

第二,根据风险选择HITL、HOTL或组合模式。高风险、高不确定性场景强化HITL;风险可控、异常可监测场景采用HOTL;复杂场景采用HITL与HOTL组合;关键系统配套Override和Fallback。

第三,验证人工控制本身,确认人员能发现关键错误、审批真正有效、覆盖和拒绝按预期执行、异常能够及时升级、回退能够成功完成。

第四,建立Accountability责任矩阵,明确系统所有者、业务负责人、质量部门、IT和自动化团队、模型供应商、云服务商、审核人员和最终责任人员。

结语:人在环中,只是开始

EMA Annex 22研讨会释放出的核心信号,不是所有AI都必须采用HITL,也不是增加一个人工审批就可以放心使用AI。真正的监管方向是:AI可以自动运行,但必须在可理解、可监测、可干预、可回退、可验证和可追责的体系内运行。

HITL解决关键节点上的人工动作;HOTL解决持续运行中的旁路监控;Override和Fallback解决异常情况下的人工接管和系统降级;Human Oversight负责把这些措施纳入全生命周期治理;Accountability则确保始终有明确的责任人员对GMP结果负责。

监管关心重点不在于“我们的AI系统有没有人在环中”,而是:这个人是否真正理解AI?是否能够质疑AI?是否有权拒绝AI?系统失效时能否接管?企业能否完整证据证明?如果这些问题无法回答,“人在环中”可能只是一个流程节点,而不是一个真正有效的GMP控制。

来源:小易说合规 · mp.weixin.qq.com

事件后续 · 1

查看事件全部