Drapeau 的 AI 深度分析:对照制药纠正闭环看 AI 质量控制实验室
Drapeau’s AI Deep Dive: The Control Lab Tested for Flavor
PharmTech 刊出 Drapeau 的评论,以 1937 年磺胺酏剂事件说明制药纠正闭环的检测、归因、强制整改与有效性检查四个环节,并称当前 AI 实践在四点中有三点未闭合。文章把 ALCOA 中的可归因性视为纠正的前提,指出前沿模型的输出难以回溯到具体训练数据与设计决策。作者主张监管对象应是产生并维护模型的质管体系而非模型本身,同时承认制药质量体系本身也会退化为形式。
制药生产用了90年才明白,产出正确的结果与发现自身的错误并不是一回事。AI只学会了前者。
1937年6月,S. E. Massengill公司的一名销售员报告称,南部各州对液体剂型的磺胺有需求。该公司的首席化学家发现,它可溶于二甘醇。控制实验室对所得制剂进行了味道、外观和香气的检测,结果判定为合格。1
在15个州,超过100人死亡,其中许多是儿童。该溶剂是防冻剂的近亲化学物质。
关键不在于该公司粗心大意。关键在于,控制实验室确实做了检测。它做了自己设计的检测。它记录了一个合格的结果。以该公司所理解的质量而言,其质量流程不可能发现那个致人死亡的问题,因为没有人让它去追问溶剂是否有毒。
1938年《联邦食品、药品和化妆品法案》在一年内随之出台。2 上市前需证明安全性。该法规至今仍是美国药品监管的基础。
我整个职业生涯都在那场灾难及其后历次事件所催生的机制中度过:偏差管理、纠正和预防措施(CAPA)、变更控制、审计追踪、数据完整性。这是不引人注目的工作,行业外的大多数人以为它只是文书工作。它不是文书工作。它是对一个特定问题的正式回答,历经90年打磨,且很大程度上是随着死亡人数而写就的。这个问题是:一个由称职且善意行事的人组成的组织,如何发现自己错了,然后被迫改变?
两年来,我一直在阅读AI安全文献,内心有一种日益增长且具体的隐隐不安。
这个领域已经构建了非凡的系统来产出正确的输出,却没有构建出使系统可被纠正的东西,而这两者是不同的对象,有着不同的架构。
正确性是输出的属性。可纠正性是组织的属性。你可以在很长时间里拥有前者而没有后者,而Massengill的控制实验室,就是出事前一天从内部看的样子。
纠正循环实际包含什么
CAPA不是某一项法规。它是一个概念,在每一个不得不吸取这一教训的受监管行业中反复出现,在药品质量体系、器械质量体系、航空和核电中以不同方式被编纂成文。3 剥去术语,它有四个部分。每一部分都单独必要,缺了任何一环,这个循环就毫无价值。
检测。必须有东西让失效浮现出来,而且必须让设计者未曾预料到的失效浮现出来,因为预料到的那些已经被处理了。
归因。你必须能够将失效追溯到原因。不是相关因素,而是原因,具体到足以据此采取行动。
强制变更。必须有人有义务去修复它,有期限,修复方案要有记录,并由未撰写该方案的人批准。
有效性检查。然后,之后,你必须回头证明该变更确实有效。这是每个人都想跳过的步骤,也是监管机构紧盯的步骤,因为无人验证的纠正措施就是无人执行的纠正措施。
现在,拿当前AI的实践来对照这四点。
检测以弱形式存在。评估、基准测试、红队测试(一种结构化对抗性测试,由团队尝试以设计者未曾预料的方式使模型失败)。这些方法能捕捉到预期中的失效模式,这具有真实价值,我并不想否定它。它们几乎捕捉不到任何无人想到要去寻找的问题,而且它们是由构建该系统的同一组织来运行的。
归因是限制性步骤。开发者通常能够识别出某种失效模式。他们通常无法做到的是,将某个前沿模型的特定输出追溯到产生它的训练样本、参数更新或设计决策,并具有足够的置信度来支撑一项纠正措施。在受限环境中存在部分方法,数据归因是一个活跃的研究领域。4,5 其中尚无任何东西接近一个严肃的质量体系所要求的可追溯性。
对于通用前沿模型而言,强制变更基本缺失。组织在它决定修复问题时才修复,按其自己的时间表、自己的标准。行业性规则开始有所动作:欧盟《人工智能法案》对某些高风险系统施加了上市后监测和严重事件报告义务。6 但这一切尚不构成针对模型行为的公开纠正回路。
有效性检查是自愿且私密的。一些提供方确实会重新运行评估、监测生产事件,并根据他们发现的失败构建测试。不存在的是一个标准的、可审计的、外部可强制执行的协议,要求提供方证明某项既定的纠正措施消除了原始失败,而非将其转移。
这个回路在四个点中有三个点是开放的。
你无法纠正你无法追溯的东西
这是我最了解的部分,也是我认为 AI 领域最被低估的部分。
制药生产中的数据完整性要求基于一项通常缩写为 ALCOA 的原则:记录必须可归因、清晰、同步、原始且准确。扩展版本增加了完整、一致、持久和可获取。FDA 和英国药品与健康产品管理局都在过去十年内发布了将这些原则正式化的指南,7,8 该框架驱动着受监管制造实际运作的巨大部分。
可归因排在首位是有原因的。这不是官僚式的讲究。如果一批产品失败,而你无法确定是哪个操作员、哪台设备、哪批原材料以及哪个工艺步骤导致了失败,那么你就无法修复它。你只能把这一批扔掉然后祈祷。纠正回路中下游的一切都依赖于归因,这就是为什么该行业在审计追踪上花费惊人的资金,而大多数日子里没人去读它们。
前沿模型目前尚不具备纠正系统所要求的那种粒度的可追溯性。对数万亿 token 的梯度下降将训练数据的影响分散到数十亿参数中,其方式使当前方法无法针对特定输出可靠地重建。5,9
这意味着 AI 领域正在运行,而我的行业视为基础性的要求不仅未被满足,而且在前沿规模上,尚不具备技术上的可满足性。
这里我要谨慎一些,因为到了这一步,一个通才往往会开始教工程师该怎么做事,而我不打算那样做。我不知道如何让一个大模型具备可归因性。在当前范式下,这也许根本不可能。我能够有把握地说的是,基于90年积累下来的监管经验,一个无法对其失败进行归因的行业会遭遇什么。它无法在原因层面闭合纠正回路。它会增加输出过滤器、重新训练,或者用一种机制替代另一种机制,而它无法证明自己修复了产生该失败的那个东西。它在输出阶段建立起繁复的检查,并把这称为质量——而这恰恰正是Massengill控制实验室当年在做的事。
没有任何东西会被召回
科学有一套撤稿机制。它缓慢,它薄弱,它让所有相关方都难堪,但它存在。
制药生产也有一套,而且要好得多。I类召回要求通知、追回、将已分销的产品与退回的产品进行核对,以及一份公开记录。10 FDA每周发布执法报告。11如果一批产品有问题,有一套既定的流程去触达已经流入市场的产品。
服务提供方可以下架一个模型、禁用一个功能、发布一项更正,或者通知使用其应用程序接口的客户,而提供方也确实在做这些事。但这些都不是召回。
如果一个模型向1000万人断言了虚假的东西,没有办法识别出谁接收到了它。没有办法追回它所进入的文档、决策和代码。没有将发出的内容与返回的内容进行核对。没有关于该事件的持久公开记录。下一个版本只是不再犯那个错误,或者犯得更少,而没有人被告知上一个版本的事。
艾萨克·牛顿的炼金术至少还有体面地待在抽屉里。
我自己这个行业失败的地方
如果这篇文章不包含这一节,我就不会信任它,你们也不应该信任。
质量体系会失效。它们以一种特定的、可识别的方式失效,而我亲眼见过它发生:它们变成了表演。文件是为了证明合规,而不是为了产生质量。偏差通过写一份更有说服力的叙述来关闭,而不是通过找到原因。根本原因分析最终落到人为错误——这不是根本原因,而是调查被提前终止时去的地方。有效性检查作为一种形式走过场,对照的标准宽松到足以通过。
这种失效模式是:纠正回路在已经不再检测到任何东西之后,仍作为仪式继续运转。表格被填好。签名被收集。什么也没被发现。
红队测试和系统卡(开发者用以报告模型能力、局限和评估结果的公开文件;也称模型卡)眼下正走在这条轨迹上,而我这么说,是作为一个希望它们奏效的人。当一项评估变成你必须通过的东西,而不是告诉你哪里坏了的东西时,它就不再是检测,而变成了文档。我这个行业花了大约40年才学到这一课,而且至今仍在每个检查周期里重新学一遍。AI在这条弧线上已经走了将近七年,而且走得更快。
还有第二个值得指出的失败。纠正机制带有保守偏见。它使变更变得昂贵,而昂贵的变更在压制坏想法的同时也压制了好想法。制药生产在某些地方确实比它需要的更慢、更规避风险,而其中一部分代价落在了等待的患者身上。任何告诉你纠正架构是免费的人,都是在推销什么。
我认为应该存在的东西
我之前关于这个主题的两篇文章——"牛顿的另外一百万词"和"微积分靠流言运行"——都以拒绝开处方结尾。那种拒绝在当时是诚实的。在这里就会是逃避,所以这里是主张。
AI 系统的正确监督单位不是模型。而是生产和维护模型的质量体系。
这一原则是我的行业学到的最有用的东西,而且是用死亡换来的。你无法在最后把质量检查进产品。检测每一片药片是不可能的,而且无论如何也不会奏效,因为检测只问你想到要问的问题。因此,药品监督不能依赖于在最后检测单个药片。它使制造过程,以及过程保持受控状态的证据,本身成为监管的核心对象。3,12
评估就是放行检测。它们是检查味道、外观和香气的控制实验室。有用、必要,并且从根本上无法捕捉没有人规定的东西。
由此得出三件事,我会尽可能具体地陈述它们。
模型提供者应维护正式的偏差记录。当系统性失败被识别出来时,无论是内部还是外部,它都会获得一条记录:什么失败了,调查了什么,做了什么变更,以及什么证据表明变更奏效。不是一篇博客文章。而是一份记录,被保留,有明确的保留期限,可供审计员查阅。
应该有一个外部机构,有权强制进行调查。不是批准模型,我认为那会失败,原因该领域的批评者已经论证得很好,13,而是要求对系统性失败的可靠报告进行调查并作出回应。自我报告的安全工作是 1938 年之前的安排,我们知道那种安排表现如何。
而且归因应被视为一项研究优先事项,具有该行业目前赋予能力的权重。不是因为可解释性在智力上有趣,尽管它确实有趣,而是因为纠正循环的其他每一部分都依赖于它。一个无法归因其失败的领域无法复合其修复。它只能累积,这让我回到上一篇文章结束的地方。
我以不同的信心持有这些立场。第一个我有信心,因为它主要是纪律问题,代价很小。第二个我不太确定,因为监管俘获是真实的,一个设计糟糕的机构比没有更糟。第三个是一个研究赌注,我没有资格从技术角度评估,只能从其他一切都依赖它的角度评估。
我不主张的东西
我并不主张药品质量体系应当移植到 AI 上。这两个领域存在重要差异。药品生产以离散批次生产具有既定规格的实物单元;语言模型则生成一个没有规格约束的、无界的输出空间。GMP 之所以能奏效,很大程度上依赖于这种离散性,而这种离散性在移植过程中无法保留。
我并不主张我所在的行业已经解决了这个问题。我们没有。我们拥有一个比之前更好的体系,其代价是由那些已经死去的人预先付出的,而且它仍然经常失效,频繁到足以让我保住饭碗。
我也不主张纠错机制能产生真理。它不能。它产生的是不再以某种特定方式犯错两次的能力,这是一件更小的事,也是唯一能提供的东西。
配制该酏剂的化学家 Harold Watkins 在审判前结束了自己的生命。Samuel Massengill 公开表示,产品生产过程中没有错误,他个人认为公司方面没有责任。根据 1937 年当时的法律,他大体上是正确的。没有任何法规要求对新药进行安全性检测,唯一可用的指控是标签错误,因为“酏剂”一词意味着酒精基溶液。1
这就是建立一个只产生输出、却不建立捕捉这些输出的系统时的样子。每个人都遵循程序。程序通过了。程序从未问过正确的问题,而没有人发现这一点,直到产品已经离开了大楼。
参考文献
1. Ballentine C. 覆盆子的味道,死亡的味道:1937 年磺胺酏剂事件。FDA Consumer。1981 年 6 月。访问于 2026 年 10 月 1 日。查看来源
2. Wax PM. 酏剂、稀释剂与 1938 年《联邦食品、药品和化妆品法案》的通过。Ann Intern Med。1995;122(6):456-461。doi:10.7326/0003-4819-122-6-199503150-00009。查看来源
3. 国际人用药品注册技术协调会。ICH Q10:药品质量体系。ICH.org。发布于 2008 年 6 月。访问于 2026 年 10 月 1 日。查看来源
4. Koh PW, Liang P. 通过影响函数理解黑箱预测。载于:第 34 届国际机器学习会议论文集。第 70 卷。PMLR;2017:1885-1894。访问于 2026 年 10 月 1 日。查看来源
5. Grosse R, Bae J, Anil C, 等。利用影响函数研究大语言模型的泛化能力。arXiv。预印本于 2023 年 8 月 7 日在线发布。访问于 2026 年 10 月 1 日。doi:10.48550/arXiv.2308.03296。查看来源
6. 欧洲议会与欧盟理事会。规定人工智能统一规则的 (EU) 2024/1689 号条例(《人工智能法案》),第 72-73 条。《欧盟官方公报》。发布于 2024 年 7 月 12 日。访问于 2026 年 10 月 1 日。查看来源
7. 美国食品药品监督管理局。数据完整性与药品 CGMP 合规:问题与解答;行业指南。FDA.gov。发布于 2018 年 12 月。访问于 2026 年 10 月 1 日。查看来源
8. 英国药品和健康产品管理局。GxP 数据完整性指南。GOV.UK。发布于 2018 年 3 月 9 日。更新于 2021 年 9 月 27 日。访问于 2026 年 10 月 1 日。查看来源
9. Basu S, Pope P, Feizi S. 深度学习中的影响函数是脆弱的。载于:国际学习表征会议。ICLR;2021年。访问于2026年10月1日。查看来源
10. 产品召回,包括移除和更正,21 CFR Part 7。eCFR。访问于2026年10月1日。查看来源
11. 美国食品药品监督管理局。执法报告。FDA.gov。访问于2026年10月1日。查看来源
12. 成品药品现行药品生产质量管理规范,21 CFR §211。eCFR。访问于2026年10月1日。查看来源
13. Kapoor S, Narayanan A. 许可既不可行也无法有效应对AI风险。AI Snake Oil。2023年6月10日。访问于2026年10月1日。查看来源
来源:PharmTech Quality Systems · pharmtech.com