VALIDACIÓN TALLERINHA

VALIDACIÓN DE MÉTODOS MICROBIOLÓGICOS

ELABORACIÓN DE UNA GUÍA PARA EL ESTABLECIMIENTO DEL CONTROL DE CALIDAD

INTERNO EN LOS LABORATORIOS DE MICROBIOLOGÍA DE ALIMENTOS DE LA RED

NACIONAL DE LABORATORIOS DE ANÁLISIS DE ALIMENTOS DE CUBA

DrC. Claudio Rodríguez Martínez ([email protected])

Confirmación, mediante el suministro de evidencia objetiva, de que se han cumplido los requisitos para una utilización o aplicación específica prevista.

Establecimiento de las características de desempeño de un método y la provisión de evidencias objetivas de que los requerimientos particulares para el uso deseado especificado se han alcanzado.

Documento propiedad del autor. Prohibida su reproducción por cualquier medio para fines distintos a la impartición de este curso sin la aprobación de su autor por escrito.

•USP XXXVI.2013•International Standard ISO. Draft EN ISO/CD 16140-1. 2011. Microbiology of food and animal feeding stuffs - Method validation - Part 1: Terminology of method.

VALIDACIÓN DE MÉTODOS MICROBIOLÓGICOS

VALIDACIÓN: Proceso que establece, mediante estudios de laboratorio, que las características de desempeño del procedimiento cumplen los requisitos para las aplicaciones analíticas previstas.

Confirmación mediante el aporte de evidencia objetiva de que se han cumplido los requisitos especificados.


Demostración de que el método validado funciona en manos del usuario de acuerdo con las especificaciones del método, determinada en un estudio de validación y cumple con el propósito.Provisión de evidencia objetiva de que el item (artículo) dado cumple con los requerimientos especificados. •USP XXXVI.2013.•nternational Standard ISO. Draft EN ISO/CD 16140-1. 2011. Microbiology of food and animal feeding stuffs - Method validation - Part 1: Terminology of method.

VERIFICACIÓN: Evaluación que sirve para determinar si el procedimiento puede ser utilizado para su propósito previsto, en las condiciones de uso reales para un fármaco específico y/o matriz de un producto farmacéutico.


REQUISITOS GENERALES PARA LA VALIDACIÓN Y ACEPTACIÓN DE LOS MÉTODOS MICROBIOLÓGICOS

ALTERNATIVOS (Para los métodos de detección)Se establecen los límites de detección para las matrices ensayadas de manera rutinaria.

Se determina la probabilidad de la detección a bajos niveles como el indicador de la incertidumbre de estos ensayos.

Se documenta la sensibilidad y especificidad del método alternativo para microorganismos diana y cualquier limitación conocida del mismo.

Se establecen los controles de medios, pruebas diagnósticas y reactivos.

Se demuestra la consistencia en la interpretación entre analistas.

•Rodríguez Martínez C. 2010. Validación de métodos microbiológicos alternativos. Curso pre-evento. XV Convención Científica de Ingeniería y Arquitectura. ISPJAE. Cuba.


Establecimiento de la sensibilidad y especificidad.

Comprobación de cualquier limitación declarada para determinado microorganismo diana.

Control del desempeño de los reactivos y su vida útil.

Control del desempeño de los equipos.

Demostración de la consistencia en la interpretación entre analistas.


(Para los métodos de confirmación, identificación y caracterización)

Parámetros de la validaciónMétodos

cualitativosMétodos

cuantitativos

Exactitud - X

Presición - X

Especificidad X XLímite de detección X XLímite de cuantificación - XLinealidad - XIntervalo operativo - X

Robustez X X

Repetibilidad X XTolerancia X X

•USP XXXVI.2013


Para la validación de un método alternativo se requiere: Estudio de comparación con método estándar reconocido Ejercicio interlaboratorial


Ensayos cualitativos Ensayos cuantitativos

Límite de detección Recuento de microorganismos totales

Recuento de microorganismos en medio selectivo/diferencial

Sensibilidad Repetibilidad + Precisión intermedia

Repetibilidad + Precisión intermedia

Especificidad Límite de cuantificación Límite de cuantificación

Inclusividad Rango Rango

Exclusividad Incertidumbre de la medición Incertidumbre de la medición

Robustez Robustez Robustez

Sensibilidad

Especificidad

Inclusividad

Exclusividad

•International Standard ISO. Draft EN ISO/CD 16140-1. 2011. Microbiology of food and animal feeding stuffs - Method validation - Part 1: Terminology of method. •Guía para la validación de métodos microbiológicos. Organismo Argentino de Acreditación. DC-LE-08. 2011.

•Guide pour la validation de méthodes d’essais microbiologiques et l’évaluation de leur incertitude de mesure dans les domaines de la microbiologie alimentaire et de l’environnement. Document N° 328.fw Edition février 2006, rév. 01. Département fédéral de l’économie DFE. Secrétariat d’Etat à l’économie SECO. Service d’accréditation suisse SAS


Parámetros de la validaciónMétodos cualitativos Métodos cuantitativos

alternativo nuevo alternativo nuevo

Campo de aplicación X X X X

Especificidad X X X X

Sensibilidad X X X X

Exactitud X X

Exactitud relativa X X

Repetibilidad X X X X

Límite de detección X X

Límite de determinación X X

Conformidad estadística X X

Tasa de los falsos positivos X X

Tasa de los falsos negativos X X

Incertidumbre de la medición X X


Estudio de comparación con un método estándar reconocido más amplio (la Norma ISO 16140, la Norma ISO/TR 13843, o los protocolos de USP, AOAC, NordVal, entre otros).

Para la validación de un método interno se requiere:



Sea conducido según protocolo de validación aprobado por un panel técnico de revisores y sus resultados aceptados por ellos.

Revisores técnicos que operan con auspicio de organizaciones internacionalmente reconocidas que ejecutan validaciones de métodos.

Los estudios responden al menos al total del número de muestras y de matrices requeridas.

Para la validación y aceptación de los métodos alternativos que no han sido validados contra un Estándar Internacional, o sea, empleando un método de referencia no reconocido internacionalmente se exige:



Evaluación por un panel de expertos si el cambio es mayor y se procede a validar contra método de referencia (si impacta negativamente en la exactitud de los resultados se rechaza).

Si el cambio es menor se ejecuta un estudio de comparación de métodos reducido (ISO 16140- 3 matrices de alimentos y/o muestras ambientales).

Otros cambios menores y no afectan el protocolo del método, no requieren de la validación.

Para la validación y aceptación de un método alternativo que ha sido modificado después de haber sido validado con anterioridad contra un Estándar Internacional:


Cambios mayores en un método microbiológico

Nueva matriz de ensayoPorción de ensayo o suspensión inicial diferenteParámetros de incubaciónEquipos con diferente toleranciaMétodo de recuento diferenteRango de recuento diferenteMétodo diferente de cálculo y expresión de

resultadosDiferente número de placas para recuentoCombinación de pasos de un método normalizado

con pasos de un método descrito en la bibliografía relevante


•Guía para la validación de métodos microbiológicos. Organismo Argentino de Acreditación. DC-LE-08. 2011.


Método cualitativo - límite de detección y verificación de la sensibilidad y especificidad.

Método cuantitativo – repetibilidad y precisión intermedia, límite de cuantificación y verificación de la veracidad.

Para la verificación de un método estándar se requiere un protocolo reducido:

•International Standard ISO. Draft EN ISO/CD 16140-1. 2011. Microbiology of food and animal feeding stuffs - Method validation - Part 1: Terminology of method. •Guía para la validación de métodos microbiológicos. Organismo Argentino de Acreditación. DC-LE-08. 2011.•USP XXXVI. 2013.

VALIDACIÓN PRIMARIA: tiene por objetivo evaluar o mejorar el desempeño del método en el laboratorio.


Los resultados de diferentes analistas y laboratorios se comparan entre sí o con los valores de referencia asignados.Número limitado de muestras en una matriz bien definida.Puede permitir la evaluación de la robustez del método, la claridad de los procedimientos escritos y la posibilidad de uso más amplio.

• Method Validation of U.S. Environmental Protection Agency Microbiological Methods of Analysis. EPA Forum on Environmental Measurements (FEM) Microbiology Action Team. FEM Document Number 2009-01 October 7, 2009.

VALIDACIÓN SECUNDARIA: tiene por objetivos:

proveer especificaciones para los atributos de desempeño del método en una muestra representativa del conjunto de laboratorios que se espera utilicen el método para el propósito deseado.

demostrar la equivalencia con el método de referencia.


• Method Validation of U.S. Environmental Protection Agency Microbiological Methods of Analysis. EPA Forum on Environmental Measurements (FEM) Microbiology Action Team. FEM Document Number 2009-01 October 7, 2009.

Capítulo Contenido

Título Nombre del método que se pretende validar

Objetivo Alcance, parámetros y analitos

Campo de aplicación Tipos de productos (matrices)

Método de ensayo Diagrama de flujo o esquema, descripción detallada

Equipamiento Equipos, condiciones metrológicas, etc.

Personal Calificación, habilidades, desempeño, tareas específicas

Materiales Materiales a emplear

Reactivos y medios Nombres y calidad, medios, cepas, preparación de inóculos

Muestras Características, almacenamiento, cantidades, preparación Desarrollo de la validación Descripción de cada experimento en detalle

Resultados Registros, tablas

Análisis estadístico Análisis a aplicar para cada parámetroCriterios de aceptación Descripción y sus referencias bibliográficas

Oficialización Datos de elaboración, revisión

PROTOCOLO DE VALIDACIÓN



NÚMERO DE LABORATORIOS (ISO 16140)


ALIMENTOS

• Por el laboratorio organizadorFASE I

• Inter-laboratorio• De 5, 8 a 15 laboratorios con

resultados válidosFASE II

•International Standard ISO 16140. 2003. Microbiology of food and animal feeding stuffs - Protocol for the validation of alternative method.

MATRICES

Procesados (estresados): por desecación por calor por pH por bajas temperaturas por aw

Naturalmente contaminadas

Artificialmente contaminadasSin contaminación



Prioridad en el tipo:1. Artificialmente

contaminadas por mezcla2. Artificialmente

contaminadas por inoculación

3. Materiales certificados

MUESTRAS (ISO 16140)

ESTUDIO PAREADO (MUESTRAS “CASADAS”, DATOS PAREADOS)

ESTUDIO NO PAREADO (MUESTRAS “NO CASADAS”, DATOS NO PAREADOS)

Ambos métodos tienen un primer paso común para

el enriquecimiento

Ambos métodos no tienen un primer paso común


•International Standard ISO. Draft EN ISO/CD 16140-1. 2011. Microbiology of food and animal feeding stuffs - Method validation - Part 1: Terminology of method.

Muestras para estudios de comparación de métodos(ISO 16140)

Para cada tipo de alimentos:20 muestras

Para cada categoría:60 muestras

Niveles:1. Ausencia2. Bajo3. Medio4. Alto

10 muestraspositivas

10 muestrasnegativas

Idealmente:


5 niveles, pero como mínimo:

•International Standard ISO. Draft EN ISSOCD 16140-2. 2011. Microbiology of food and animal feeding stuffs — Protocol for the validation of alternative method Part 2: Protocol for the validation of alternative (proprietary) methods against a reference method.

EXACTITUD RELATIVA (AC): Grado de correspondencia entre la respuesta obtenida

por el método de referencia y la respuesta obtenida por el método alternativo en muestras idénticas.


Exactitud relativa= VP + VN (VP + FP + VN + FN)

En porcentaje= VP + VN x 100% (VP + FP + VN + FN)

•International Standard ISO. Draft EN ISO/CD 16140-1. 2011. Microbiology of food and animal feeding stuffs - Method validation - Part 1: Terminology of method. •International Standard ISO. Draft EN ISO/CD 16140-2. 2011. Microbiology of food and animal feeding stuffs — Protocol for the validation of alternative method Part 2: Protocol for the validation of alternative (proprietary) methods against a reference method.

SENSIBILIDAD (para un tipo de matriz y un nivel de inoculación dado): fracción del número total de cultivos

o colonias positivos que son correctamente asignados con el método utilizado.

Capacidad de un método de detectar el microorganismo diana, cuando éste está presente.

En porcentaje= VP x 100% VP + FN

Sensibilidad= VP___ VP + FN


•International Standard ISO. Draft EN ISO/CD 16140-1. 2011. Microbiology of food and animal feeding stuffs - Method validation - Part 1: Terminology of method. •International Standard ISO. Draft EN ISO/CD 16140-2. 2011. Microbiology of food and animal feeding stuffs — Protocol for the validation of alternative method Part 2: Protocol for the validation of alternative (proprietary) methods against a reference method. •Guía para la validación de métodos microbiológicos. Organismo Argentino de Acreditación. DC-LE-08. 2011.

ESPECIFICIDAD (para un tipo de matriz y un nivel de inoculación dado): fracción del número total de cultivos

o colonias negativos que son asignados correctamente con el método utilizado.

Capacidad de un método de no detectar el microorganismo diana, si éste no está presente.

Especificidad= VN___ VN + FPEn porcentaje= VN x 100% VN + FP


•International Standard ISO. Draft EN ISO/CD 16140-1. 2011. Microbiology of food and animal feeding stuffs - Method validation - Part 1: Terminology of method. •International Standard ISO. Draft EN ISO/CD 16140-2. 2011. Microbiology of food and animal feeding stuffs — Protocol for the validation of alternative method Part 2: Protocol for the validation of alternative (proprietary) methods against a reference method. •Guía para la validación de métodos microbiológicos. Organismo Argentino de Acreditación. DC-LE-08. 2011.

Criterio de aceptación: No menos del 10 - 30%

Los resultados de los ensayos cualitativos son analizados para comprobar la concordancia.

ÍNDICE KAPPA

Kappa = 2 x ((VP x VN) – (FN x FP)) [(VP + FP ) x (FP+VN)] + [(VP + FN) x (FN + VN)]



RESULTADOS DISCORDANTES (IS0 16140)Se analizan los resultados discordantes por el test de McNemar, empleando el recuento de las desviaciones positivas (PD) y las desviaciones negativas (ND).

Para Y < 6, (menos de 6 desacuerdos): no existe ningún test disponible.

Primeramente se cuenta el número de resultados discordantes (Y) como sigue:

Y=PD + ND

•El test se aplica a muestras pareadas, no es robusto para muestras no pareadas



LÍMITE DE DETECIÓN RELATIVO (IS0 16140)

Límite de detección (LOD): valor cuantitativo medido, obtenido por un procedimiento dado de medición, para el

cual, la probabilidad de declarar falsamente la ausencia de un componente en un material es ß, dada una probabilidad α de

reclamar falsamente su presencia.

Concentración de analito a la cual la probabilidad de detección (POD) es igual al 50%.

Se recomienda un valor de 0,05 para α y ß.


• USP XXXVI. 2013.•International Standard ISO. Draft EN ISO/CD 16140-1. 2011. Microbiology of food and animal feeding stuffs - Method validation - Part 1: Terminology of method. •International Standard ISO. Draft EN ISO/CD 16140-2. 2011. Microbiology of food and animal feeding stuffs — Protocol for the validation of alternative method Part 2: Protocol for the validation of alternative (proprietary) methods against a reference method.

LÍMITE DE DETECCIÓN: número más bajo de microorganismos en una muestra que puede detectarse

bajo las condiciones experimentales establecidas

INCLUSIVIDAD: capacidad de un método alternativo de detectar el microorganismo diana a partir de un amplio rango de cepas.

La inclusividad es el rango de cepas que refleja la diversidad genética y/o serológica del microorganismo diana que el método puede detectar.

Amplio rango de cepas diana debidamente caracterizadas genética-, serológica- y/o bioquímicamente, para identificarlas con plena seguridad, provenientes de muestras contaminadas y si es necesario, se emplearán cepas aisladas con antelación de las matrices estudiadas y/o cepas certificadas de colección.



EXCLUSIVIDAD: capacidad del método de no detectar a los microorganismos no diana, es decir aquellos que pueden presentar reacciones cruzadas con el microorganismo diana.

30 cultivos puros relevantes para el método alternativo, y los productos alimenticios y matrices sometidos a ensayo.

Amplio rango de cepas no diana debidamente caracterizadas genética-, serológica- y/o bioquímicamente, para identificarlas con plena seguridad, provenientes de muestras contaminadas y si es necesario, se emplearán cepas aisladas con antelación de las matrices estudiadas y/o cepas certificadas de colección.



Para cada muestra las mediciones se ejecutan bajo condiciones de repetibilidad.Se asume distribución normal de los resultados.

Se establece el criterio de aceptabilidad como ± λ log unidades (es una diferencia por el empleo de logaritmos).

PERFIL DE EXACTITUD. ESTUDIO DE COMPARACIÓN DE MÉTODOS

i – número de tipos de muestras (1 ≤ i ≤ 6)j – número de réplicas (1 ≤ j ≤ 4)Xi – log del resultado del método de referenciaZi – log del resultado del método alternativo


•International Standard ISO. Draft EN ISO/CD 16140-2. 2011. Microbiology of food and animal feeding stuffs — Protocol for the validation of alternative method Part 2: Protocol for the validation of alternative (proprietary) methods against a reference method.

Representación simultánea del intervalo de aceptabilidad y del ß-ETI para una muestra de un item de un sólo alimento durante la validación (tomado de la ISO 16140)

Intervalo de aceptabilidad

ß-intervalo de tolerancia esperado


LÍMITE DE CUANTIFICACIÓN (LOQ): número mínimo de microorganismos dentro de una variabilidad definida que puede determinarse en las condiciones experimentales del método evaluado.

(LQ): menor cantidad de analito en una muestra laboratorial, que puede ser determinada cuantitativamente con una confianza definida.

También llamado límite de determinación.

•USP XXXVI. 2013.•International Standard ISO. Draft EN ISO/CD 16140-1. 2011. Microbiology of food and animal feeding stuffs - Method validation - Part 1: Terminology of method.


LÍMITE DE CUANTIFICACIÓN: número más bajo de m.o. que pueden contarse con exactitud.

R

cc

R

cc

R

cc

R

ccG

n

nnn lnln....lnln2

2

22

1

11

21

Volumen de muestra

Recuento 1, UFC/ placa



Volumen relativo Vri

0,2 ml 46 45 46 2

0,1 ml 16 16 16 1

0,2 ml 44 44 44 2

0,1 ml 18 18 18 1

0,2 ml 45 46 46 2

0,1 ml 16 16 16 1

0,2 ml 45 45 45 2

0,1 ml 18 18 18 1

Linealidad con respecto al volumen



OTROS PARÁMETROS

Reproducibilidad Repetibilidad Sesgos Rango Proporcionalidad Robustez Rudeza Selectividad Real Selectividad aparente

VALIDACIÓN TALLERINHA

Documents

Transcript of VALIDACIÓN TALLERINHA