日本厚生劳动省医药局发布CMC领域灵活使用AI与机器学习模型的考量文件
PMDA 发布《药品生产和质量管理中 AI 使用的考量指南》!
日本厚生劳动省医药局发布《药品生产·质量管理(CMC)领域中灵活使用AI·机器学习模型的考量》,说明AI模型在GMP领域应用的基本原则。
近日,日本厚生劳动省医药局发布了《药品生产·质量管理(CMC)领域中灵活使用AI·机器学习模型的考量》,该文件介绍了AI在药品生产和质量管理等GMP领域中应用的基本原则,包括模型AI模型的风险评估、确认与验证、AI模型的评价等,如下:
AI模型评价流程
文件将AI模型的评价划分为6个步骤,包括定义关注问题(QOI),定义使用目的(COU),模型定风险评估,确认与验证、判断模型可信度、形成文件等:
①定义关注问题(QOI):模型要回答什么。
②定义使用目的(COU):模型的作用和范围:建模什么、输出怎么用、谁据此做决策,适用范围要依据建模数据的范围明示。
③评价模型风险(MI×CWD)。
④制定并执行验证与确认(V&V)计划。
⑤结合不确定性量化(UQ)的结果,判断模型对COU是否适当——这就是模型的可信性(Credibility)。
⑥形成文件。
风险评估
文件给出AI模型的风险评估矩阵:模型风险 = 模型影响度(MI)× 错误决策后果(CWD)。
模型影响度MI看模型输出在决策证据里占多大权重。关键是有没有独立证据兜底:过程控制检验、成品检验这类独立验证手段还在,模型就不是唯一依据,MI评低;只有模型输出成为支配性依据、没有可抗衡的独立证据时,MI才评High。
错误决策后果CWD看错误决策的后果,同时看严重性(Severity)和发生可能性(Likelihood)。直接影响患者安全或有效性、或因损害关键质量属性(CQA)引来产品召回,且完全可能发生的,评High;既不碰CQA和关键工艺参数(CPP)、也不影响患者的,评Low。
两个维度交叉成3×3矩阵,把模型分成High、Medium、Low三档,这个等级就是后面决定V&V做到多深的依据。
两个注意点:一是即使严重性高,若发生可能性低,CWD也可以评Medium;二是"可检出性"(Detectability)不是事后修正风险的要素,但独立验证手段的存在,要在COU和MI的评价里一并考虑。
模型确认VS模型验证
文件对AI模型的确认和验证进行了区分:
模型确认:保证"实现没写错",即确认用户自编代码不含错误、公式正确反映模型假设、编程/软件表述无误、计算准确等。
データ処理及び解析実施のためのユーザー生成コード(すなわち、プログラミング言語又はソフトウェアのユーザーによって記述された指示)にエラーが含まれず、式がモデルの仮定を反映しており、プログラミング言語又はソフトウェアでの表記に間違いがなく、かつ計算が正確であることを保証することを目的とする作業。
用以保证以下各项为目的的工作:用于数据处理及分析实施的用户自编代码(即由编程语言或软件的用户所写的指令)不含错误;公式反映模型假设;编程语言或软件中的表述无误;计算准确。
模型验证:评价"模型本身好不好",即验证模型的稳健性(robustness)及性能的适当性。
モデルの頑健性及び性能の適切性を評価することを目的とする作業。
以评价模型的稳健性及性能适当性为目的的工作。
确认与验证(V&V)计划的具体项目清单
文件把考虑事项分成"通用项 + 确认项 + 验证项 + 按建模方法分类项"四类:
AI模型确认与验证的通用项目
模型假设的说明
模型的种类与结构(算法/架构概要)+ 模型选择的科学依据
模型的训练方法
训练/调参数据的种类与分布、数据量、超参数说明
数据预处理及变量选择的适当性
模型的稳健性与局限性
相对 COU 适用范围,数据的覆盖程度(含设计空间)
AI模型的确认项目
软件质量保证
验证用户自编代码及数值算法正确反映模型的数学式、假设与规格(可用已知解验证、基准比较、与独立实现比较、单元测试、复算等)
计算误差的评价(用数值近似解法时含近似精度评价)
AI模型的验证项目
测试数据适当性(须独立于训练/调参数据)
训练/调参/测试数据是否代表 COU(分布、偏倚等)
模型评价方法(性能指标)
模型预测与观测数据的一致程度
模型预测的不确定性
按建模方法分类的加重项
数据驱动型:用交叉验证等评价泛化性能;评价可解释性与可说明性
物理模型:基础物理定律/化学方程式的正当性;由实验数据推定参数的方法与精度;仿真计算误差与稳定性(不发散、收敛、不异常振荡)
混合模型:在上述之外,还要说明两类模型各自作用、是否用同一数据集训练;若用替代模型(代理模型)替代物理模型,要评价其是否在 COU 下以适当精度再现了参照物理模型
何时被检查?何时写入CTD?
文件把模型在药事上的定位分成三层:
模型不直接用于生产与决策,仅用于工艺理解、条件探讨(开发阶段条件优化、实验设计效率化):结果可能间接涉及药事事项
模型输出被直接纳入批准事项(控制策略、设计空间等)的依据,或为佐证管理策略所不可缺:例如实时放行检测、实时工艺控制——必须纳入CTD
模型在生产现场、于GMP管理下运行,但不直接纳入批准事项——例如偏差调查支持、企业内部质量管理工具:CTD里不一定要放,但应做到应监管机构要求时能立即出示
来源:GMP办公室 · mp.weixin.qq.com