Bias

121
Modelos para la estimaci Modelos para la estimaci ó ó n n del Bias y desempe del Bias y desempe ñ ñ o del o del m m é é todo todo

description

Diferentes definiciónes de Bias

Transcript of Bias

Page 1: Bias

Modelos para la estimaciModelos para la estimacióón n del Bias y desempedel Bias y desempeñño del o del

mméétodotodo

Page 2: Bias

Agenda Introducción

Errores Analíticos

Bias:

- Definiciones

- Modelos de estimación

“Comparación de Métodos”

“Esquemas Interlaboratorio”

“Control de Calidad Externo”

“Verificación de Veracidad”

“Modelo Alternativo”

Desempeño del Método

Conclusiones

Page 3: Bias

Agenda Introducción

Errores Analíticos

Bias:

- Definiciones

- Modelos de estimación

“Comparación de Métodos”

“Esquemas Interlaboratorio”

“Control de Calidad Externo”

“Verificación de Veracidad”

“Modelo Alternativo”

Desempeño del Método

Conclusiones

Page 4: Bias

Introducción

Los temas a abordar en esta presentación son temas que suelen generar conflicto.

Existen distintas formas de estimar el Bias.

Los distintos modelos arrojan distintos resultados.

Vamos a presentar los distintos modelos.

Foco: Utilidad Clínica de los resultados.

Page 5: Bias

Agenda Introducción

Errores Analíticos

Bias:

- Definiciones

- Modelos de estimación

“Comparación de Métodos”

“Esquemas Interlaboratorio”

“Control de Calidad Externo”

“Verificación de Veracidad”

“Modelo Alternativo”

Desempeño del Método

Conclusiones

Page 6: Bias

Error AleatorioError Aleatorio- Error Aleatorio (Random error, RE o imprecisión)

- Error (positivo o negativo) cuya magnitud y dirección no pueden ser predichas.

- Se puede expresar como desvío estándar (SD) o como porcentaje de la media (CV).

- Dispersión.

www.westgard.comwww.westgard.com

Errores Analíticos

MediaObservada

Error Aleatorio

Page 7: Bias

Error SistemError Sistemááticotico- Error Sistemático (Sistematic Error, SE)

- Error que se produce en una dirección y que provoca un desplazamiento (BIAS o sesgo) de la media de una distribución de su valor real.

- Distribución Central.

-Proporcional

(Depende de la concentración)

-Constante

(No depende de la concentración)

www.westgard.comwww.westgard.com

Errores Analíticos

ValorVerdader

o

Media Observada

Bias

Page 8: Bias

www.westgard.comwww.westgard.com

Errores Analíticos

ErrorSistemáticoConstante

Erroraleatorio

ErrorSistemático

Proporcional

Resultado del método de comparación

Page 9: Bias

TE: Error TotalTE: Error Total

“Combinación de errores analíticos (aleatorio y sistemático) que estima la

magnitud de error que puede ser esperado de una medición simple”

TE = SE + (n * RE)

n: 2 (95 % de confidencia)

3 (99,7% de confidencia)

4,5 (99,9997% de confidencia)

Errores Analíticos

Page 10: Bias

TE < TEa

TE: Error TotalTEa: Error Máximo Tolerable

Errores Analíticos

Page 11: Bias

Error TotalError Total

El TE por sEl TE por síí solo no solo no nos dice si los nos dice si los resultados cumplen resultados cumplen con los requerimientos con los requerimientos de calidad.de calidad.

Para lograr esa Para lograr esa informaciinformacióón debo n debo definir previamente definir previamente los requerimientos de los requerimientos de calidad. (calidad. (TEaTEa)) Performance Driven Quality Control Zoe C Brooks

Errores Analíticos

Page 12: Bias

Agenda Introducción

Errores Analíticos

Bias:

- Definiciones

- Modelos de estimación

“Comparación de Métodos”

“Esquemas Interlaboratorio”

“Control de Calidad Externo”

“Verificación de Veracidad”

“Modelo Alternativo”

Desempeño del Método

Conclusiones

Page 13: Bias

Bias: “Definiciones”

BIAS

Error Sistemático

Proporcional

Constante

Page 14: Bias

Bias: “Definiciones”

Conceptos relacionados:

- Cantidad- Valor verdadero de una cantidad- Valor convencional de una cantidad- Error Sistemático- Bias- Veracidad- Exactitud

Page 15: Bias

Bias: “Definiciones”

Page 16: Bias

Bias: “Definiciones”

CantidadPropiedad de un fenómeno, cuerpo o sustancia, donde la propiedad tiene una magnitud que puede ser expresada como un número y una referencia.

Page 17: Bias

Bias: “Definiciones”

Valor verdadero de una cantidadValor VerdaderoValor de una cantidad consistente con la definición de la cantidad.

Page 18: Bias

Bias: “Definiciones”

Valor convencional de una cantidadValor convencionalValor de una cantidad atribuido por acuerdo a dicha cantidad para un propósito dado.

Page 19: Bias

Bias: “Definiciones”

Medición del BiasBiasEstimación del error sistemático de la medición.

Page 20: Bias

Bias: “Definiciones”

Error sistemático de la mediciónError SistemáticoComponente del error de la medición que en mediciones replicadas permanece constante, o varia en una forma predecible.

Page 21: Bias

Bias: “Definiciones”

Medición de la veracidadVeracidad de la mediciónVeracidadGrado de acuerdo entre la media de un numero infinito de replicados de valores de lamedición de un cantidad y el valor de referencia de dicha cantidad.

Page 22: Bias

Bias: “Definiciones”

Medición de exactitudExactitud de la mediciónExactitudGrado de acuerdo entre el valor medido de una cantidad y el valor verdadero de lacantidad medida.

Page 23: Bias

Agenda Introducción

Errores Analíticos

Bias:

- Definiciones

- Modelos de estimación

“Comparación de Métodos”

“Esquemas Interlaboratorio”

“Control de Calidad Externo”

“Verificación de Veracidad”

“Modelo Alternativo”

Desempeño del Método

Conclusiones

Page 24: Bias

Bias: “Modelos de Estimación”

Bias Error de Medida

Importante!!!!!!!!

Page 25: Bias

Bias: “Modelos de Estimación”

ES LES L

ES MES M

ES T ES T

XmLabXmLab XmMetXmMet XmGlobXmGlob

XmLab: Media del laboratorioXmMet: Media del MétodoXmGlob: Media Global verdadera

ES L: Error Sistemático del laboratorioES T: Error sistemático del procedimiento

de medida del laboratorioES M: Error Sistemático del método

Control de la Calidad en el Laboratorio Clínico2° Edición F.-Javier Gella

Page 26: Bias

Bias: “Modelos de Estimación”

EAEA

ESES

MedidaMedida Valor VerdaderoValor Verdadero

ImprecisiImprecisióónn

Error MError Mááximo de Medidaximo de Medida

Control de la Calidad en el Laboratorio Clínico2° Edición F.-Javier Gella

Page 27: Bias

Bias: “Modelos de Estimación”

¿De que forma podemos estimar el Bias de nuestrosmétodos?

1)- Comparación de Métodos.2)- Esquemas Interlaboratorio o Peer Group.3)- Control de Calidad Externo.

- Regresión- T test

4)- Estudios de Recuperación, verificación de la veracidad .5)- Otros.

Page 28: Bias

Agenda Introducción

Errores Analíticos

Bias:

- Definiciones

- Modelos de estimación

“Comparación de Métodos”

“Esquemas Interlaboratorio”

“Control de Calidad Externo”

“Verificación de Veracidad”

“Modelo Alternativo”

Desempeño del Método

Conclusiones

Page 29: Bias

Bias: “Comparación de Métodos”

Los estudios de comparación de métodos se llevan a cabo a efectos de determinar el error sistemático del ensayo

(cantidad) que está siendo evaluado.

Se realizan analizando muestras con el nuevo método y un método de comparación.

Sobre la base de las diferencias observadas entre los dos métodos se calcula el error sistemático.

Las diferencias observadas se analizan en los distintos niveles de decisión médica de la cantidad (analito) en cuestión, para juzgar sobre la aceptabilidad del método.

Brindan información importante sobre la naturaleza del error (sistemático o constante).

Page 30: Bias

Bias: “Comparación de Métodos”

ObjetivoObjetivo

“El propósito fundamental de los estudios de comparación de métodos es determinar si dos métodos son estadísticamente

comparables”

Para que esto sea cierto se deben dar tres condiciones:

1- La pendiente no debe ser significativamente diferente de 1.

2- La intersección no debe ser significativamente diferente de 0.

3- No debe existir diferencia significativa en los niveles de decisión médica.

Page 31: Bias

Bias: “Comparación de Métodos”

Factores a ConsiderarFactores a Considerar

1)- Método de Comparación.

2)- Número de muestras a analizar.

3)- Corrida Simple Vs. Duplicados.

4)- Duración del estudio.

5)- Estabilidad de las muestras.

Page 32: Bias

Bias: “Comparación de Métodos”Método de Comparación

-Se habla de método de comparación.

-Debería seleccionarse un método de referencia para asegurarla veracidad de los resultados que genera.

-Si el método de comparación es un método de referencia, las diferencias encontradas son asignadas al método en estudio.

-Al momento de interpretar los resultados es muy importantesaber cual es la referencia que estamos empleando.

- Conceptos relacionados : “Trazabilidad”; “Método Definitivo o de Referencia”

Page 33: Bias

Bias: “Comparación de Métodos”

Número de muestras a analizar

- Deben seleccionarse entre 20 y 40 muestras de pacientes, de manera tal que se cubra el rango de trabajo del ensayo en estudio.

- La calidad de las muestras seleccionadas es más importante que la cantidad.

- Factor crítico: “Distribución de las muestras”.

Page 34: Bias

Bias: “Comparación de Métodos”

Corrida Simple Vs. Duplicados

-Los duplicados brindan una verificación sobre la validez de las mediciones.

-Incrementan costos.

- Si no se trabaja con duplicados se deben verificar los pares de datos al momento que son obtenidos.

Page 35: Bias

Bias: “Comparación de Métodos”

Duración del estudio

-Mínimo 5 días.

-Optimo 20 días.

-2 a 5 muestras por día.

Page 36: Bias

Bias: “Comparación de Métodos”

Estabilidad de las muestras

-Genéricamente se recomienda no dejar pasar más de 2 horaspara procesar las muestras por ambos métodos.

- La estabilidad del analito en la muestra puede ser una limitante.

- Ejemplos: Bicarbonato, lactato, amonio, gases en sangre.

Page 37: Bias

Bias: “Comparación de Métodos”

Interpretación de resultados

Existen 4 razones o motivos por los cuales se realizan estudios de comparación entre métodos:

-Clínico

-Analítico

-Investigación

-Armonización

Page 38: Bias

Bias: “Comparación de Métodos”

Interpretación de resultados

Lab Statistics, Fun and EasyBy David G. Rhoads

Page 39: Bias

Bias: “Comparación de Métodos”

Interpretación de resultados

Std. Err. Est.(SEE)

- Describe la dispersión de los puntos x,y alrededor de la línea de tendencia central.

- Cuanto más chico sea el SEE mejor correlacionan los métodos.

- Si el desvío estándar de ambos métodos es idéntico, el SEE seráaproximadamente 1,4 veces el desvío estándar típico.

Page 40: Bias

Bias: “Comparación de Métodos”

Interpretación de resultados

Std. Err. Est.(SEE)

Lab Statistics, Fun and EasyBy David G. Rhoads

Page 41: Bias

AnAnáálisis Grlisis Grááfico Asociadofico Asociado

Permite identificar outliersVerificar la calidad de las muestras

Respuesta lineal en el rango analítico

Acuerdo entre los métodos

Grafico de ComparaciGrafico de Comparacióónn

MMéétodo de Referencia o detodo de Referencia o decomparacicomparacióónn

MMéé todo en estudio o de cam

potodo en estudio o de cam

po

www.westgard.comwww.westgard.com

Bias: “Comparación de Métodos”

Page 42: Bias

AnAnáálisis Grlisis GrááficoficoEs inicialmente útil para detectar outliers.

Para los métodos que supuestamente tienen un grado de acuerdo importante se utiliza el “Difference plot”.

Permite identificar outliers

Permite visualizar errores

GrGrááfico de diferenciasfico de diferencias

LLíínea de nea de cerocero

MMéétodo de Referencia o detodo de Referencia o decomparacicomparacióónn

Diferen

cia (en

say

oD

iferencia

(ensa

yo

--co

mp

ara

cico

mp

ara

ci óón

)n

)

www.westgarwww.westgard.comd.com

Bias: “Comparación de Métodos”

Page 43: Bias

Diferentes modelos de regresión:

Regresión lineal

Regresión de Deming

Passing-Bablok

Bias: “Comparación de Métodos”

Page 44: Bias

Bias: “Comparación de Métodos”

Interpretación de resultados

Lab Statistics, Fun and EasyBy David G. Rhoads

-Ambos modelos funcionanminimizando la suma de loscuadrados de los residuales.

-La regresión regular asume para hacerlo que le método de comparación es exacto.

-Angulo definido por el cocientede los errores relativos de los2 métodos.

Page 45: Bias

Bias: “Comparación de Métodos”

Interpretación de resultados

Passing Bablok

- Es una aproximación diferente.

- Calcula las pendientes de cada uno de los pares de puntos.

- Descarta las pendientes horizontales y verticales y estima la media del resto.

- Descarta outliers.

Page 46: Bias

Bias: “Comparación de Métodos”

Coeficiente de correlaciCoeficiente de correlacióón (r)n (r)

““Describe el ancho relativo de la elipse que Describe el ancho relativo de la elipse que engloba los puntos de la serie de datos.engloba los puntos de la serie de datos.””

- Es sensible al error aleatorio, al rango de datos y al signo de la pendiente.

- Mide el grado de asociación entre dos variables.

Page 47: Bias

Bias: “Comparación de Métodos”

Interpretación de resultados

¿Cómo estimar el Bias en unidades de concentración y porcentaje a partir de la ecuación de la recta

obtenida del estudio de comparación de métodos?

Pendiente:Pendiente: 1,0377 (m)Intercepto:Intercepto: 5,37 (b)

EcuaciEcuacióón de la recta: n de la recta: Y = m x X + bY = pendiente x X + InterceptoY = 1,0377 x X + 5,37

X : ConcentraciX : Concentracióón a la cual se va a evaluar el n a la cual se va a evaluar el biasbiasDeberDeberíía representar un nivel de decisia representar un nivel de decisióón mn méédica dica

Page 48: Bias

Bias: “Comparación de Métodos”

Interpretación de resultados

Y = 1,0377 x X + 5,37

Lo que quiero saber es:Lo que quiero saber es:

- Para una muestra que tenga un valor verdadero de “X”que valor voy a obtener yo de acuerdo al Bias de mi método .

- X = 100 mg/dl- Y = 1,0377 x 100 + 5,37- Y = 109,1 mg/dl

- Para una muestra con un valor verdadero de 100 mg/dlcon mi método yo obtendría un valor de 109,1 mg/dl.

Page 49: Bias

Bias: “Comparación de Métodos”

Interpretación de resultados

X = 100 mg/dl (valor verdadero)Y = 109,1 mg/dl (valor obtenido)

¿¿CuCuáál es el Bias en unidades de concentracil es el Bias en unidades de concentracióón?n?

Bias = Valor Obtenido – Valor VerdaderoBias = 109,1 – 100 = 9,1 mg/dl

Page 50: Bias

Bias: “Comparación de Métodos”

Interpretación de resultados

X = 100 mg/dl (valor verdadero)Y = 109,1 mg/dl (valor obtenido)

¿¿CuCuáál es el Bias en porcentaje?l es el Bias en porcentaje?

Bias = Valor Obtenido – Valor Verdadero x 1ooValor Verdadero

Bias = 109,1 – 100 x 1oo 100

Bias = 9,1 %

Page 51: Bias

Bias: “Comparación de Métodos”

Page 52: Bias

Bias: “Comparación de Métodos”

Page 53: Bias

Bias: “Comparación de Métodos”

Efecto del error sistemático proporcional

Page 54: Bias

Bias: “Comparación de Métodos”

Efecto del error sistemático constante

Page 55: Bias

Bias: “Comparación de Métodos”

Efecto del error aleatorio

Page 56: Bias

Bias: “Comparación de Métodos”

Efecto del error aleatorio

Page 57: Bias

Bias: “Comparación de Métodos”

Efecto de nolinealidad

Page 58: Bias

Bias: “Comparación de Métodos”Efecto de “outliers”

Page 59: Bias

Bias: “Comparación de Métodos”

Rango de datosinadecuado

Page 60: Bias

Agenda Introducción

Errores Analíticos

Bias:

- Definiciones

- Modelos de estimación

“Comparación de Métodos”

“Esquemas Interlaboratorio”

“Control de Calidad Externo”

“Verificación de Veracidad”

“Modelo Alternativo”

Desempeño del Método

Conclusiones

Page 61: Bias

Bias: “Esquemas Interlaboratorio”

Interpretación de resultados

“Los esquemas interlaboratorio brindan una información muy útil para la estimación del Bias”

Puntos críticos:

--Contra que me comparo.Contra que me comparo.--Valor verdadero.Valor verdadero.--Trazabilidad.Trazabilidad.--TamaTamañño del grupo de comparacio del grupo de comparacióón.n.--Niveles de decisiNiveles de decisióón mn méédica evaluados.dica evaluados.

Page 62: Bias

Bias: “Esquemas Interlaboratorio”

Page 63: Bias

Bias: “Esquemas Interlaboratorio”

Evaluemos Nivel 1:

Supongamos valor verdadero: Media grupo par

Lab: 40,07 Media grupo par: 39,05Bias: ( 40,07 - 39,05) = 1,02Bias %: (1,02 / 39,05)*100= 2,61

Page 64: Bias

Bias: “Esquemas Interlaboratorio”

Evaluemos Nivel 1:

Supongamos valor verdadero: Media Acumulada del laboratorio

Lab: 40,07 Media acum. Lab.: 40,08Bias: ( 40,07 - 40,08) = -0,01Bias %: (0,01 / 40,08)*100= 0,02

Page 65: Bias

Bias: “Esquemas Interlaboratorio”

Evaluemos Nivel 1:

Supongamos valor verdadero: Media del Método

Lab: 40,07 Media del Método: 37,72Bias: ( 40,07 - 37,72) = 2,35Bias %: (2,35 / 37,72)*100= 6,2

Page 66: Bias

Bias: “Esquemas Interlaboratorio”

Evaluemos Nivel 2:

Supongamos valor verdadero: Media grupo par

Lab: 185,6 Media grupo par: 188,1Bias: ( 185,6 – 188,1) = -2,5Bias %: (2,5 / 188,1)*100= 1,3

Page 67: Bias

Bias: “Esquemas Interlaboratorio”

Evaluemos Nivel 2:

Supongamos valor verdadero: Media Acumulada del laboratorio

Lab: 185,6 Media acum. Lab.: 186,4Bias: ( 185,6 - 186,4) = -0,8Bias %: (0,8 / 186,4)*100= 0,4

Page 68: Bias

Bias: “Esquemas Interlaboratorio”

Evaluemos Nivel 2:

Supongamos valor verdadero: Media del Método

Lab: 185,6 Media del Método: 188,1Bias: ( 185,6 – 188,1) = -2,5Bias %: (2,5 / 188,1)*100= 1,3

Page 69: Bias

Bias: “Esquemas Interlaboratorio”

Bias en porcentaje evaluado frente a:

Media Grupo Par

Media Acumulada del Laboratorio

Media del Método

Nivel 1 2,61 0,02 6,2

Nivel 2 1,3 0,4 1,3

Page 70: Bias

Bias: “Esquemas Interlaboratorio”

Interpretación de resultados

--Menos retrospectivo.Menos retrospectivo.--Depende del tamaDepende del tamañño del grupo.o del grupo.--FFáácil seguimiento.cil seguimiento.--Se estima Bias y Se estima Bias y CvCv empleando la misma fuente de empleando la misma fuente de datos lo cual facilita el seguimiento de desempedatos lo cual facilita el seguimiento de desempeñño delo delMMéétodo en funcitodo en funcióón del tiempo.n del tiempo.--La estimaciLa estimacióón se hace a 2 o 3 niveles de decisin se hace a 2 o 3 niveles de decisióón n mméédica.dica.

Page 71: Bias

Agenda Introducción

Errores Analíticos

Bias:

- Definiciones

- Modelos de estimación

“Comparación de Métodos”

“Esquemas Interlaboratorio”

“Control de Calidad Externo”

“Verificación de Veracidad”

“Modelo Alternativo”

Desempeño del Método

Conclusiones

Page 72: Bias

Bias: “Control de Calidad Externo”Existen dos alternativasExisten dos alternativas

-- RegresiRegresióón Linealn Lineal¿Son las concentraciones evaluadas los suficientemente buenas para cubrir el rango reportable?

-- T testT test¿Es el Bias independiente de la concentración evaluada?

¿¿CCóómo se estimmo se estimóó el valor verdadero del material enviado para lael valor verdadero del material enviado para laencuesta?encuesta?

Estudio retrospectivo.Estudio retrospectivo.¿¿CCóómo esta formado el grupo?mo esta formado el grupo?Trazabilidad.Trazabilidad.

Page 73: Bias

Bias: “Control de Calidad Externo”

Existen dos alternativasExisten dos alternativas

-- RegresiRegresióón Linealn Lineal-- T testT test

Page 74: Bias

Bias: “Control de Calidad Externo”

Page 75: Bias

Bias: “Control de Calidad Externo”

Page 76: Bias

Bias: “Control de Calidad Externo”

Y = 1,021 * X + 2,9

Pendiente: 1,021Intercepto: 2,9X 70 mg/dlY 74,4 mg/dlBias 4,4 mg/dlBias % 6,2 %

Page 77: Bias

Bias: “Control de Calidad Externo”

Y = 1,021 * X + 2,9

Pendiente: 1,021Intercepto: 2,9X 150 mg/dlY 156,1 mg/dlBias 6,0 mg/dlBias % 4,0 %

Page 78: Bias

Bias: “Control de Calidad Externo”

Y = 1,021 * X + 2,9

Pendiente: 1,021Intercepto: 2,9X 300 mg/dlY 309,2 mg/dlBias 9,2 mg/dlBias % 3,1 %

Page 79: Bias

Bias: “Control de Calidad Externo”

Existen dos alternativasExisten dos alternativas

-- RegresiRegresióón Linealn Lineal-- T testT test

Page 80: Bias

Bias: “Control de Calidad Externo”

EncuestaValor

informado Valor Veradadero Bias relativo Bias %1 100 103 0,0291 2,91262 76 80 0,0500 5,00003 64 69 0,0725 7,24644 232 240 0,0333 3,33335 115 121 0,0496 4,95876 98 103 0,0485 4,85447 70 76 0,0789 7,89478 76 80 0,0500 5,00009 178 183 0,0273 2,732210 321 331 0,0302 3,0211

Media 0,0470 4,6954SD 0,0179 1,7862

Mediana 0,0491 4,9065

Valor Informado-Valor verdaderoValor Verdadero

Valor informado-Valor verdadero *100Valor Verdadero

Page 81: Bias

Agenda Introducción

Errores Analíticos

Bias:

- Definiciones

- Modelos de estimación

“Comparación de Métodos”

“Esquemas Interlaboratorio”

“Control de Calidad Externo”

“Verificación de Veracidad”

“Modelo Alternativo”

Desempeño del Método

Conclusiones

Page 82: Bias

Bias: “Verificación de Veracidad”Recuperación

Precisión BiasValidación

frente a TEa

EspecificacionesPrecisión

EspecificacionesBias

Verificación

FABRICANTE

USUARIO

Page 83: Bias

Bias: “Verificación de Veracidad”Recuperación

El EP 15 A2 propone dos modelos diferentes para verificarlas especificaciones de veracidad volcadas por el fabricante de los ensayos:

1)- Empleando muestras de pacientes

2)- Empleando materiales de referencia

Page 84: Bias

Bias: “Verificación de Veracidad”Recuperación

Materiales de referencia con valores asignados

- CRM “Materiales de Referencia Certificados”- Materiales de referencias con valores asignados a partir deensayos de aptitud. (PT)- Materiales de fabricantes con valores asignados.- Materiales provistos por terceras partes con valores asignadospor consenso después de ser procesados en distintos laboratorios.(materiales que participan en esquemas de comparaciónInterlaboratorio)- Estándares preparados para obtener concentraciones conocidas.

Page 85: Bias

Bias: “Verificación de Veracidad”Recuperación

2 Materiales de diferente concentración. Deben representar en la medida de lo posible niveles de decisiónmédica.Deben prepararse respetando las condiciones del proveedor.

Día 1 Día 2 Día 3 Día 4 Día 5

Rep.1 Rep.1 Rep.1 Rep.1 Rep.1Rep.2 Rep.2 Rep.2 Rep.2 Rep.2

MediaDesvío estándarLimites de confianza para la verificación del valor asignado

Page 86: Bias

Bias: “Verificación de Veracidad”Recuperación

Page 87: Bias

Bias: “Verificación de Veracidad”Recuperación

Page 88: Bias

Bias: “Verificación de Veracidad”Recuperación

Si el intervalo de verificación incluye el valor asignado por el fabricante, la especificación de veracidad ha sido verificada.

Si el Bias o Bias % obtenido es muy diferente al declarado porel fabricante aunque este se encuentre dentro del intervalo de verificación se debería agregar mas poder estadístico al protocoloincorporando mas replicados y días.

Si el intervalo de verificación no incluye al valor asignado porel fabricante, no se verifica la especificación de veracidad.

Page 89: Bias

Bias: “Verificación de Veracidad”Recuperación

X = Media (de los 10 replicados)

Sx = Desvío Estándar

t1-α,2n-1 = 2,821

Sa = Desvío estándar del valor asignado

Depende del materialseleccionado

Page 90: Bias

Bias: “Verificación de Veracidad”Recuperación

Si el fabricante declara la incertidumbre estándar o combinadaque corresponde a la asignación de valor verdadero al material:

Si el fabricante declara el intervalo de confianza del 95 % (CI)correspondiente a la asignación del valor verdadero del material:

Page 91: Bias

Bias: “Verificación de Veracidad”Recuperación

Si el fabricante del material de referencia expresa laincertidumbre asociada a la asignación del valor verdadero del material en el formato de Incertidumbre expandida existen 2 opciones a saber:

K = 2

K = 3

Page 92: Bias

Bias: “Verificación de Veracidad”Recuperación

Si el material de referencia es una muestra de un esquema deevaluación externa de la calidad o un ensayo de aptitud tenemos:

S = Desvío Estándar del grupon = Número de resultados remitidos al grupo

Page 93: Bias

Bias: “Verificación de Veracidad”Recuperación

Si el material de referencia a emplear es una muestra que participa de un programa de comparación interlaboratorio se Debe proceder de la siguiente forma:

S = Desvío Estándar del grupon = Número de laboratorios participantes del grupo

Page 94: Bias

Caso de Aplicación: Veracidad

SDgSa=

√Ng

Page 95: Bias

Caso de Aplicación: Veracidad

Page 96: Bias

Agenda Introducción

Errores Analíticos

Bias:

- Definiciones

- Modelos de estimación

“Comparación de Métodos”

“Esquemas Interlaboratorio”

“Control de Calidad Externo”

“Verificación de Veracidad”

“Modelo Alternativo”

Desempeño del Método

Conclusiones

Page 97: Bias

Bias: “Modelo Alternativo”

Este modelo es una simplificación. Se emplea en EEUU Aparece en varios ejemplos de planificación de la

página del Dr. Westgard

Page 98: Bias

Bias: “Modelo Alternativo”

Se corren los controles en el período inicial. Se establece una media inicial que se considera la

mejor estimación del valor verdadero del material de control.

Durante el primer mes se considera que el Bias del método es igual a “0”.

Durante el segundo mes se establece una nueva media para el material.

La diferencia entre la nueva media y la inicial es el Bias del segundo mes.

El tercer mes se establece nuevamente la media y la diferencia de esta media con la del ciclo inicial es el Bias de ese mes.

Page 99: Bias

Agenda Introducción

Errores Analíticos

Bias:

- Definiciones

- Modelos de estimación

“Comparación de Métodos”

“Esquemas Interlaboratorio”

“Control de Calidad Externo”

“Verificación de Veracidad”

“Modelo Alternativo”

Desempeño del Método

Conclusiones

Page 100: Bias

Desempeño del Método Premisa:

“Establecer los Requisitos de Calidad” Conocemos el desempeño de nuestros métodos en

condiciones estables a partir de la verificaciones y validaciones analíticas de métodos.

Una vez conocido el método como aceptable (cumple con nuestro requisitos de calidad), trabajamos con control de calidad para asegurarnos que el método permanece estable en función del tiempo.

Operando correctamente los datos de desempeño analítico del método obtenidos de las corridas de los controles (esquemas interlaboratorio), junto con los requisitos de calidad podemos seguir cual es el comportamiento del método de acuerdo a nuestras expectativas.

Page 101: Bias

Desempeño del Método

Validación /Verificación

(Bias-CV)

Requisitos de Calidad

TEa

Método Aceptado

Método Rechazado

TESigma

Planificación de control de Calidad / Control de calidad

Interno

TEa

Bias CV

Esquemas InterlaboratorioControl Externo de Calidad

TEaBias CV

Seguimiento del Desempeño(TE y/o Sigma)

Page 102: Bias

Los errores calculados son:- Error Aleatorio: A partir de los protocolos de Precisión Simple y Compleja.

SD y CV- Error Sistemático: A partir del protocolo de Comparación de Métodos.

Y = Pendiente * X + Intersección De la combinación de conceptos y errores surge la

decisión acerca de la aceptabilidad del método en estudio. Existen varios modelos para esta combinación.

Los más apropiados son:1-Method Desicion Chart2-Six Sigma

Desempeño del Método

Page 103: Bias

MethodMethod DesicionDesicion ChartChart- Recomendaciones para combinación de errores:

• bias + 2SD < TEa• bias + 3SD < TEa• bias + 4SD < TEa

- A partir de los protocolos de evaluación obtenemos los siguientes datos:

BIASCV

- BIAS y CV se calculan en concentraciones consideradas niveles de decisión médica.

Desempeño del Método

Page 104: Bias

El TE a debe expresarse en porcentaje. Si TE a está expresado en concentración, debe

transformarse en porcentaje considerando el nivel de decisión médica seleccionado:

TE a: 1 mg/dl (Calcio)Nivel de decisión médica: 11 mg/dl

TE a%: (1/11)*100 = 9.1 %

TE a: 0.5 mEq/l (Potasio)Nivel de decisión médica: 3.0 mEq/l

TE a%: (0.5/3.0)*100 = 16.7 %

Desempeño del Método

Page 105: Bias

Crear el grCrear el grááfico:fico:

- Rotular el eje Y como Inexactitud permitida ( BIAS %) y establecer una escala de 0 a TE a%.

- Rotular el eje X como Imprecisión permitida ( CV %) y establecer una escala de 0 a TE a.0.5 (la mitad)

- Dibujar la línea bias + 2SD uniendo el TE a en el eje Y con el TE a.0.5 en el eje X.

- Dibujar la línea bias + 3SD uniendo el TE a en el eje Y con el TE a.0.33 en el eje X.

- Dibujar la línea bias + 4SD uniendo TE a en el eje Y con el TE a.0.25 en el eje X.

- Rotular las zonas ( de derecha a izquierda) como Pobre, Marginal, Bueno y Excelente.

Desempeño del Método

Page 106: Bias

Desempeño del Método

www.westgard.com

Page 107: Bias

Pobre: El método no cumple con los requerimientos de calidad, ni siquiera trabajando en condiciones de base, por lo tanto, es inapropiado para ser empleado como método de rutina.

Marginal: El método provee la calidad requerida solo bajo condiciones muy controladas. Será difícil trabajarlo como método de rutina y debe establecerse una estrategia de calidad total.(entrenamiento de operadores, QC exhaustivo, plan de mantenimiento frecuente, control de resultados)

Bueno: Cumple con los requerimientos de calidad y puede ser empleado en forma rutinaria con un QC planificado.(multiregla o N:4)

Excelente: Cumple con los requerimientos de calidad y es fácil de manejar con un QC mínimo.

Desempeño del Método

Page 108: Bias

SixSix SigmaSigma“Está dirigida al mejoramiento de procesos”

El nombre de Six Sigma deriva de un “gold standard” de calidad que apunta a lograr que, entre los límites de tolerancia de un proceso dado, puedan alojarse seis

unidades de desvío estándar.

www.westgard.comwww.westgard.com

Desempeño del Método

Page 109: Bias

SixSix SigmaSigmaSi reemplazamos en la definición anterior el término

“tolerancia del proceso” por el de “requerimientos de calidad” hemos logrado trasladar el concepto Six Sigma a la evaluación de desempeño de los métodos analíticos.

Six Sigma=(TEa-Bias%)/CV

Six Sigma=(TEa-Bias)/SD

Desempeño del Método

Page 110: Bias

CCáálculo de la Mlculo de la Méétrica trica SixSix SigmaSigma

- Definir los requerimientos de CalidadEjemplo 12%

- Eje Y: de o a TEa (Bias %)Ejemplo de o a 12%

- Eje X: de 0 a 0.5 TEa (CV %)Ejemplo de 0 a 6%

- Dibujar las líneas para 2,3,4,5 y 6 σ¿Cómo?Todas las líneas parten del eje Y en el TEa, en el ejemplo desde el 12%.

2 2 σσ : Intercepta x en : Intercepta x en TEaTEa/2 (Ej.6%)/2 (Ej.6%)3 3 σσ : Intercepta x en : Intercepta x en TEaTEa/3 (Ej.4%)/3 (Ej.4%)4 4 σσ : Intercepta x en : Intercepta x en TEaTEa/4 (Ej.3%)/4 (Ej.3%)5 5 σσ : Intercepta x en : Intercepta x en TEaTEa/5 (Ej.2.4%)/5 (Ej.2.4%)6 6 σσ : Intercepta x en : Intercepta x en TEaTEa/6 (Ej.2 %)/6 (Ej.2 %)

Desempeño del Método

Page 111: Bias

www.westgard.comwww.westgard.com

Desempeño del Método

Page 112: Bias

InterpretaciInterpretacióón (del desempen (del desempeñño):o):

Por debajo de 2 σ: InaceptableEntre 2 σ y 3 σ: Marginal no válido para

procesos de rutina.Entre 3 σ y 4 σ: Pobre Entre 4 σ y 5 σ: BuenoEntre 5 σ y 6 σ: Muy BuenoPor encima de 6 σ: Gold Estandard

Desempeño del Método

Page 113: Bias

ConsideracionesConsideraciones

- 3.0 σ es el menor sigma permitido para procesos de rutina.

- 4.0 σ es el sigma promedio de los procesos comerciales e industriales.

- 5.0 σ es el primer objetivo de los procesos de mejoramiento.

- 6.0 σ es el “Gold Standard”.

Desempeño del Método

Page 114: Bias

SixSix Sigma Normalizado: CalcioSigma Normalizado: Calcio

EP Evaluator Release 8EP Evaluator Release 8

Desempeño del Método

Page 115: Bias

SixSix Sigma Normalizado: CalcioSigma Normalizado: Calcio

EP Evaluator Release 8EP Evaluator Release 8

Desempeño del Método

Page 116: Bias

SixSix Sigma Normalizado: MSigma Normalizado: Máás ejemploss ejemplos……

Desempeño del Método

Page 117: Bias

SixSix Sigma Normalizado: MSigma Normalizado: Máás ejemploss ejemplos……

Desempeño del Método

Page 118: Bias

Agenda Introducción

Errores Analíticos

Bias:

- Definiciones

- Modelos de estimación

“Comparación de Métodos”

“Esquemas Interlaboratorio”

“Control de Calidad Externo”

“Verificación de Veracidad”

“Modelo Alternativo”

Desempeño del Método

Conclusiones

Page 119: Bias

Conclusiones

Existen distintos modelos para la estimación del Bias.

Todos los modelos tienen puntos fuertes y débiles.

El concepto de trazabilidad es muy importante al momento de estimar el Bias.

El modelo de estimación del Bias seleccionado debe permitir una estimación periódica a efectos de hacer un seguimiento del desempeño del método en forma permanente.

Page 120: Bias

MUCHAS GRACIAS!MUCHAS GRACIAS!

Page 121: Bias

¿¿[email protected]