色谱实验室数据完整性指标:监管要求与实践实施
Data Integrity Metrics for Chromatography
Eli Lilly 的 Mark E. Newton 与 R.D. McDowall 在 LCGC 质量专栏撰文,讨论色谱实验室数据完整性指标的监管要求与实践实施。
|文章|2017年12月1日
作者讨论了用于监测色谱实验室数据完整性的指标,从监管要求到实际实施。
Mark E. Newton1 和 R.D. McDowall2,1Eli Lilly and Company,Lilly Corporate Center,美国印第安纳州印第安纳波利斯,2R.D. McDowall Ltd,英国肯特郡布罗姆利
作者讨论了用于监测色谱实验室数据完整性的指标,从监管要求到实际实施。
许多实验室使用关键绩效指标(KPI)或指标来衡量流程和实验室本身的运营与质量绩效:如果你无法衡量它,你就无法控制或管理它。指标也是 ISO 9001 质量标准以及六西格玛流程持续改进举措的要求。在本期“质量之问”中,我们探讨数据完整性指标的监管要求,以便实验室管理者能够了解其实验室在数据完整性方面的表现,并识别可能存在潜在问题的地方。对于不了解实验室指标的人,让我们从入门知识开始。
理解实验室指标
考虑一项实验室分析,主管或经理需要知道正在分析多少样品以及分析这些样品需要多长时间。他们需要知道是否存在瓶颈,以及是否为这项工作分配了足够的资源。指标可以提供这些信息来衡量一个流程或活动。如果使用得当,指标可以帮助员工理解实验室被评判所依据的绩效衡量标准。表1中列出了一些常见的实验室指标。
指标必须自动生成
收集指标的一个关键要求是流程必须自动化。为什么?简单的原因是,如果使用人工来手动收集和整理数据,这个过程容易出错、繁琐且劳动密集,还可能受到篡改。
自动生成指标是创建及时、准确且可重复的指标的唯一途径。这正是色谱数据系统和其他实验室信息学应用供应商可以通过实施能够自动生成通用指标和数据完整性指标的应用来提供帮助的地方。
FDA 质量指标指南
美国食品药品监督管理局(FDA)也关注质量指标,将其作为识别风险较低设施的一种方式。该机构于2015年7月和2016年11月发布了两份面向行业的质量指标指南草案。为了监测 QC 实验室的绩效,该机构选择了超出质量标准(OOS)结果。所选的指标是无效超出质量标准率(IOOSR),其定义为批放行和长期稳定性检测中无效的 OOS 检测结果数量(1)。
从实验室的角度来看,了解 OOS 率是质量和数据完整性的重要标准。在审计或检查实验室时,要问的关键问题之一是过去六个月的 OOS 结果。然而,回答“我们没有任何 OOS”可能会招致监管方面的意外:
自2003年开始生产运营以来,贵公司针对成品共启动了0次超出质量标准调查,FDA 483观察项,2014年11月。
由于分析方法存在变异,我们预期不仅会出现OOS,还会出现超出预期(OOE)和超出趋势(OOT)的结果。有一项具体的EU GMP法规要求对实验室结果进行趋势分析:
6.9 某些类型的数据(例如检测结果、收率、环境控制)应以允许进行趋势评价的方式记录。任何超出趋势或超出质量标准的数据都应予以处理并接受调查(2)。
6.16 所获得的结果应予记录。被确定为质量属性或关键参数的参数结果应进行趋势分析并核查,以确保彼此一致……(2)。
在受监管的实验室中,OOS率会是多少?如果你不知道,下次检查时可能会出现问题。
为什么需要数据完整性指标?
我们现在需要问,为什么数据完整性指标很重要。简而言之,从PIC/S指南PI-041表2(3)中可以看出,这现在是一项监管期望。期望收集过程和系统的数据完整性指标以供管理评审。当然,还有一项隐含期望,即如果指标表明某项活动或趋势有可能损害数据完整性,则应采取行动。
指标引导行为?
表2第二行指出,在选择KPI或指标时应谨慎,以免形成一种数据完整性优先级较低的文化。让我们进一步思考这一说法。以表1中的周转时间(TAT)为例。设想实验室的TAT目标设定为10天,而在过去几个月中该目标未能达成,实验室经理对此不满。你开始分析的样品已在实验室放置了九天,而你的分析需要两天才能完成。你将无法达成TAT目标,除非……
这正是质量文化、管理与数据完整性发生碰撞之处,也正是PIC/S指南对指标的警示发挥作用之处——某些旨在监控活动的指标,是否会成为诱发损害数据完整性行为的手段?
这里还要考虑另一个因素:当你监控某些行动时,它们会因为受到关注而改善,但这可能以牺牲其他未被监控的活动为代价。也要注意你没有监控的内容
,例如,衡量质量控制生产TAT的指标可能导致稳定性试验被忽视。
组织内数据完整性指标概述
这是一个不断发展的主题,但本专栏的目的是概述可作为数据完整性工作计划一部分以及常规工作一部分产生的数据完整性指标。让我们看看在组织中哪些地方可以产生数据完整性指标(图1)。在本专栏中,我们将不考虑生产制造指标。虽然重点在质量控制实验室,但同样的原则也适用于研发中的分析开发实验室。数据完整性指标的范围可以涵盖组织内的四个主要领域:
- 数据治理,例如数据完整性政策及相关培训;
- 实验室人工流程和计算机化系统的评估与整改;
- 开发和生产活动,包括实验室分析外包;
- 质量保证监督。
DI 政策以及流程和系统的评估与整改
图 1 中供考虑用于数据完整性指标的前两个领域是数据完整性政策和程序,以及流程和系统的评估与整改。
数据完整性政策和程序应包括以下内容:
- DI 政策,概述公司期望、行为和文化;
- 良好文件规范 SOP,涵盖纸质、混合和电子流程与系统;
- 第二人复核 SOP,包括审计追踪和电子记录复核;
- 更新现行程序,纳入验证流程,以确保记录的完整性并发现不当行为;
- 表 3 中政策和程序的指标侧重于培训及其有效性。在这个主题上,阅读并理解的方式是站不住脚的,需要可证明的理解证据。
流程和系统的评估应涵盖以下活动:
- 在购买前评估新系统是否存在完整性缺口;
- 识别现有计算机化系统和纸质流程以供评估,包括 Access 数据库和电子表格,并将其列入清单;
- 按风险和记录影响对流程和系统进行优先级排序;
- 评估系统和纸质流程;
- 数据流映射,以突出所生成的记录及其脆弱性;
- 对于每个流程和系统,都应有短期和长期整改计划;
- 表 3 中显示的指标侧重于完成高风险、中风险和低风险系统的评估。
针对流程和系统执行的整改计划:
- 短期和长期整改的实施顺序应基于清单(总体)风险;
- 针对记录关键风险的短期快速修复,例如消除共享用户身份或限制对数据目录的访问,以满足 ALCOA+ 标准;
- 较长期的整改(例如,更新系统以具备数据库或有效的审计追踪,或用电子系统替换混合系统);
- 用计算机化流程,或受控的主模板和带核对的空白表格,替换使用不受控空白表格的人工流程。
短期和长期整改相对于计划的进展指标见表 3。
实验室数据完整性指标
我们可以在图 2 中看到一些可能生成的数据完整性指标。
初步考虑:
大多数数据完整性报告只能提供关注点。1 条记录 = 1 次数据完整性违规的情况很少见。你必须仔细选择哪些领域将通过指标进行监测,因为指标太多会使你淹没在数据中。从小处着手,评估数据,并根据需要调整。
并非所有指标都同等重要;因此,对它们的审查也不应同等对待。
- 对于人工或混合型活动,几乎不可能生成和分析指标。例如,你可以通过将仪器使用日志(纸质)与计算机系统上存储的所有运行的样品 ID 报告进行比对,来发现系统中缺失的文件。然而,这种方法过于繁琐,无法定期进行,最好留给数据完整性审计或调查。相比之下,实验室信息管理系统(LIMS)或电子实验室笔记本(ELN)中的样品 ID 可以通过自动化脚本与实验室数据系统上的数据文件进行比对。由于准备这些报告所需的时间,人工报告应限于特定时间段内的特定场景(例如,作为调查的一部分,从单个可疑人员处发现欺诈行为)。
- 有些活动很难通过报告来发现。例如,一旦用户更改了重复进样的命名规则,你很可能无法在常规报告中发现它。而试图捕捉所有可能发生的情况,就像测试一个程序的所有可能分支一样。如果你有无限的资源,这是可以做到的。
- 有些事情无法通过报告来体现。例如,色谱分析人员可以删除天平或其他简单分析系统上的数据。这些数据存在于系统之外,因此记录已经丢失。这正是将数据采集到中央信息学系统可以改善情况的地方,与以下引文相比:“他说他重新校准了天平并准备了新的文档,随后丢弃了原始记录。此外,我们了解到其他天平的其他原始校准记录也同样被丢弃了”(4)。
- 指标还可以包括对个人绩效的评估,例如,测量几个人完成一个方法所需的时间,并寻找工作过快的人。在某些国家,这正是法规合规可能与劳资协议会——其关注保护工人权利——发生冲突的地方。确保生产和销售药品的组织的数据完整性,需要与个人权利之间取得平衡。然而,监管期望是流程必须确保所生成记录的完整性。
表 4 中展示了一些实验室流程的指标,涵盖了色谱分析的主要领域。
质量保证数据完整性(DI)指标
质量保证在数据完整性方面的主要监督领域是 DI 审计和调查,以及随后提出的纠正和预防措施(CAPA)。通常会有:
- DI 审计按照对所有流程、系统和组织领域的通知和突击访问计划进行。突击审计的原因是为了更好地了解所开展的工作,尽管存在干扰工作的风险;
- 由审计或检查发现或员工关切引起的数据完整性调查;
- 由审计或调查产生的 CAPA、关闭与计划完成情况的对比,以及每个行动计划的成效如何。
DI 指标的管理评审
数据完整性指标需要由管理层进行审核,因为管理层对整个质量管理体系负责。审核应当是正式的,需保留会议纪要,提出行动项并监控其进展。对于高风险或高影响的系统尤其如此——同时要快速实施短期修复措施,以确保任何重大的数据完整性缺口都得到补救。可证明的进展很重要,管理层在这一领域的活动最好以行动而非言辞来体现。管理层的审核和跟进强调了数据完整性对组织的重要性,并确保流程和资源瓶颈得以暴露和消除。
又是似曾相识!
对于记性不好的人来说,数据完整性是过去20年来制药行业面临的第三个重大IT系统改进项目,另外两个是2000年问题(Y2K)以及电子记录和签名(Part 11)评估与补救。制药行业会再次犯同样的错误吗?让我们来探讨这个问题。Y2K项目只是更换能够处理1999年12月31日之后日期的应用程序和操作系统。通常,这是在截止日期前完成工作的更新,而非流程改进;这是一个有固定截止日期的技术项目。
相比之下,21 CFR 11评估与补救项目是一个升级并通过改变业务流程以使用电子签名和消除纸质记录来提供实质性业务收益的机会。然而,并没有多少实验室利用这一方法,而只是用技术上合规的软件替换不合规的软件。
行业会重蹈Part 11的覆辙吗?
阅读各种指南文件(3, 5–9),你会看到地平线上的乌云;对空白表格的严格和官僚式控制,以及对混合系统的抑制。信息很明确——要么消除纸质记录,要么对其进行严格控制。电子管理的成本稳定或下降,但使用纸质记录的成本却在上升。不仅要考虑物理存储成本,还要考虑访问报告和趋势数据的时间——纸质记录的管理成本相当可观且高度劳动密集。向电子记录转换是制药行业唯一的选择。
数据完整性补救的另一种观点是,将其视为第二次机会,通过关注法规的意图而非字面来正确实施Part 11。以这种方式看待,行业既可以与监管机构保持一致,又可以为其流程中的生产力和数据完整性改进做好准备。
然而,许多组织抱怨这会花钱。是的,但如果每批产品都能提前几天放行,对组织的现金流会有什么影响?算一算账,然后把你的升级系统项目提案提交上去。
总结
指标可用于监控某些潜在的数据完整性问题,但并非全部。应注意确保指标不会驱动损害数据完整性的行为。为了可持续、准确和及时,指标的收集必须自动化。
指标能够让管理层对数据完整性进行监控,这一点至关重要,因为这是组织整体数据治理和数据完整性项目成功的关键部分。然而,并非所有指标都是同等的,需要谨慎选择。利用长期数据完整性整改的机会,同时改进实验室流程的生产率。
参考文献
- 美国食品药品监督管理局,行业指南:质量量度数据的提交,Revision 1(FDA,Rockville,Maryland,USA,2016)。
- EudraLex,第4卷 药品生产质量管理规范(GMP)指南,第6章 质量控制(欧盟委员会,比利时布鲁塞尔,2014年)。
- PIC/S,PI-041 受监管GMP/GDP环境中的数据管理与数据完整性优良规范草案。药品检查公约/药品检查合作计划,瑞士日内瓦(2016年)。
- FDA警告信 Sun Pharmaceuticals,(美国食品药品监督管理局,美国马里兰州罗克维尔,2014年)。
- MHRA,GMP数据完整性定义与行业指南 第2版。英国药品和健康产品管理局,英国伦敦(2015年)。
- 美国食品药品监督管理局,行业指南草案:数据完整性与cGMP合规(Silver Spring,Maryland,USA,2016)。
- WHO,技术报告系列第996号 附件5 良好数据与记录管理规范指南。世界卫生组织,瑞士日内瓦(2016年)。
- MHRA,GxP 数据完整性定义和行业指南,2016 年 7 月征求意见草案。英国伦敦药品和医疗产品监管局,2016 年。
- EMA,问答:药品生产质量管理规范:数据完整性。2016;可从以下网址获取:http://www.ema.europa.eu/ema/index.jsp?curl=pages/regulation/general/gmp_q_a.jsp&mid=WC0b01ac058006e06c#section9。
Mark E. Newton 是 Eli Lilly and Company(美国印第安纳州印第安纳波利斯)的实验室信息学 QA 代表。他还是 ISPE/GAMP 数据完整性兴趣小组的联合负责人。
“Questions of Quality”编辑 Bob McDowall 是 R.D. McDowall Ltd.(英国肯特郡布罗姆利)的董事。他还是 LCGC Europe 编辑顾问委员会的成员。有关本专栏的通信应直接发送给主编 Alasdair Matheson,邮箱为 alasdair.matheson@ubm.com
本期文章
与本文相关
来源:LCGC Questions of Quality · chromatographyonline.com