Sin título de diapositiva · Determinar los factores que influyen en su utilización. Explorar la...

5ª Reunión Científica de la Asociación Española de Evaluación de Tecnologías Sanitarias

Evaluación de Guías de Práctica Clínica

EVALUACIEVALUACIÓÓN GENN GENÉÉRICA DE LAS GURICA DE LAS GUÍÍAS AS DE PRDE PRÁÁCTICA CLCTICA CLÍÍNICA. ADAPTACINICA. ADAPTACIÓÓN Y N Y

VALIDACIVALIDACIÓÓN DE UNA HERRAMIENTA N DE UNA HERRAMIENTA BASADA EN LOS REQUISITOS BASADA EN LOS REQUISITOS

PROPUESTOS POR EL INSTITUTO DE PROPUESTOS POR EL INSTITUTO DE MEDICINA DE EE.UU.MEDICINA DE EE.UU.

Valencia, 7 de Noviembre de 2002Universidad de MurciaUniversidad de Murcia

OBJETIVOS

Producir un instrumento válido para evaluar la calidad.

Elaborar una guía para su construcción, consensuada con los profesionales del sistema.

Revisar y reelaborar los protocolos/guías existentes en la actualidad.

Determinar los factores que influyen en su utilización.

Explorar la efectividad y eficiencia diferencial de actuar con/sin protocolos/guías.

El Proyecto Evaluación y Mejora de los Protocolos o Guías para la Práctica Clínica se realiza con la colaboración del Instituto de Medicina de Estados Unidos.

Valencia, 7 de Noviembre de 2002

¿POR QUÉ EVALUAR?

Instrumento de trabajo.

Area prioritaria de actuación entre profesionales,

planificadores, legisladores, gestores y usuarios.

Muy numerosos.

No experiencia de evaluación operativa.


BASE METODOLOGICA

Para valorar la Calidad de Diseño es necesario definir ATRIBUTOSATRIBUTOS de Calidad.

Esos Atributos deben transformarse en CRITERIOSCRITERIOS.

A partir de esos Criterios deben construirse INSTRUMENTOSINSTRUMENTOS de medición que sean Válidos y Fiables.

Su aplicación revelará en qué pueden y deben ser MEJORADOSMEJORADOS.

Medir para ACTUARACTUAR.


PROBLEMAS DE DEFINICIÓN

INSTITUTO DE MEDICINA (IOM):INSTITUTO DE MEDICINA (IOM):

Instrucciones, directrices o pautas desarrolladas de forma sistemática, cuyo propósito es ayudar a los médicos y a los pacientes a tomar decisiones sobre la asistencia sanitaria apropiada para determinadas circunstancias clínicas.

ATRIBUTOS:

- Validez - Claridad- Fiabilidad - Proceso multidisciplinario- Aplicabilidad - Revisión programada- Flexibilidad - Documentación



SATURNO et. AL:

Instrumento de diseInstrumento de diseñño de la calidado de la calidad de la atención que

explicita las normas de actuación que ayudan a

profesionales y usuarios a decidir de la forma más efectiva,

eficiente y satisfactoria posible, frente a problemas

específicos de promoción, prevención y restauración de la

salud, sirviendo además como guía para la evaluación de la

calidad en los casos en los que el protocolo sea aplicable.



ATRIBUTOS:

- Validez - Claridad estructural

- Fiabilidad - Proceso multidisciplinario

- Aplicabilidad - Revisión programada

- Flexibilidad - Modelaje específico

- Manejabilidad - Claridad de lenguaje

- Acreditación - Explícita normas

- Lógica - Documentación


¿CÓMO MEDIR?

CUESTIONARIO IOM.- 46 Criterios + múltiples subcriterios.

6.- Se discuten cómo se consideran las preferencias del paciente: SI___ NO___

6.1.- La discusión de dichas preferencias es:S___ PS___ I___Comentarios:

6.2.- La omisión de esta discusión es:

S/I___ OM___ Om___

Comentarios:


¿CÓMO MEDIR?

NECESIDAD DE MODIFICACIÓN:

- Utilizable por cualquier Profesional Sanitario.

- Adaptado al estado actual de protocolización. Mínimos.

- Evitar la Valoración Subjetiva o Escalas de Cumplimentación.

- Balance Numérico apropiado de Criterios.

- Adaptarse a los nuevos Atributos de Calidad considerados.


Atributo 1 : APLICABILIDAD CLINICA

Definición del problema de salud y de las condiciones que debe tener la población hacia la que va dirigida el protocolo/guía.

Criterios de Calidad:

Definir el concepto de Caso.


Atributo 2 : FLEXIBILIDAD

Identificar las circunstancias que justifican una intervención diferente a la planteada como patrón general para una población previamente determinada.


Definir las Excepciones Totales o Parciales.

Considerar las Preferencias del Paciente.,


Atributo 3 : FIABILIDAD

Grado en que otro grupo de trabajo desarrolla las mismas directrices, partiendo de circunstancias clínicas similares, así como interpretación y aplicación uniforme.


Revisión de las cuestiones científico-técnicas por Otros Profesionales independientes.

Pilotaje.


Atributo 4 : VALIDEZ

Probabilidad de alcanzar los resultados previstos cuando se aplica.


Cuantificación de la Evidencia en la que se basan las recomendaciones del protocolo.

Descripción cuali-cuantitativa de los Beneficios.

Descripción cuali-cuantitativa de los Riesgos.

Descripción cuali-cuantitativa de los Costes.


Atributo 5 : CLARIDAD ESTRUCTURAL

Nivel de comprensión y seguimiento en base a la estructuración del documento.


Empleo de Esquemas, Resúmenes y Algoritmos.


Atributo 6 : CLARIDAD de LENGUAJE

Lenguaje exento de ambigüedad y nivel de legibilidad del

texto


El documento es Legible.


Atributo 7 : MANEJABILIDAD

Estructura estándar, de fácil manejo, rapidez y sencillez.


El documento presenta Indices Paginados.

Las páginas están Numeradas.


Atributo 8 : REVISIÓN PROGRAMADA

Procedimiento de adaptación a nuevas evidencias

científicas o a cambios en los consensos profesionales.


Especificar las fechas de Edición, Actualización o Publicación.

Establecimiento del período de Vigencia o la fecha de Revisión.


Atributo 9 : PROCESO MULTIDISCIPLINARIO

Niveles de participación en la elaboración del protocolo de

distintos colectivos.


Opinión de los profesionales de la Unidad.

Opinión de Otras Unidades relacionadas o de apoyo.

Opinión de los Usuarios/Pacientes.


Atributo 10 :MODELAJE ESPECÍFICO

Diseño o adaptación específica de los sistemas de registro de datos, para permitir la evaluación de la aplicación de las propias directrices.


Descripción o especificación de los Sistemas de Registro.


Atributo 11 : DOCUMENTACIÓN

Descripción de los procedimientos seguidos, métodos

analíticos utilizados, conceptos y lógicas aceptadas.


Descripción de los Métodos utilizados para identificar y revisar las evidencias científicas.

Referencia de las Fuentes de Información utilizadas.


Atributo 12 : ACREDITACIÓN

Refrendo técnico, legal o administrativo de las Instituciones u Organismos competentes.


Necesario definir previamente el ámbito competencial en la materia.


Atributo 13 : SECUENCIA LÓGICA

Consistencia de las situaciones clínicas y actuaciones contempladas, con una secuencia lógica de los acontecimientos.


Se consideró un Criterio, pero no superó las pruebas de fiabilidad interevaluador, por lo que ha sido rechazado a la espera de construir uno nuevo.


Atributo 14 : EXPLICITA NORMAS

Grado en que el documento ayuda a saber qué hacer, detallando las pautas de actuación acordadas como correctas y estableciendo normativamente cómo ha de ser el proceso de atención.


No cuenta con criterios específicos pues estáimplícitamente contemplado en el resto de atributos.


PLANTILLA DE EVALUACIONCRITERIO SI NO

Define CasoExcepción TotalExcepción ParcialPreferencias PacienteRevisión IndependientePilotaje / PretestCuantificación EvidenciasBeneficios CualitativaBeneficios CuantitativaRiesgos CualitativaRiesgos CuantitativaCostes CualitativaCostes CuantitativaEsquemas / Diagramas / AlgoritmoLegibilidadIndicePáginas NúmeradasFecha EdiciónPeriodo de VigenciaOpinión UnidadOpinión Otras UnidadesOpinión UsuariosSistemas de RegistroMétodo CientíficoFuente de Información

PILOTAJE DEL CUESTIONARIO

Dos pilotajes. 1º muestra de 40 y 2º muestra de 30.

Entre el 1º y 2º pilotaje se elaboró un manual de procedimientos, estableciendo las aclaraciones y excepciones al cumplimiento del criterio.

I. Kappa para categorias nominales binarias (Cohen), modificado para múltiples evaluadores (Fleiss).

6 Evaluadores: 5 médicos y 1 enfermera. Todos evaluaron todos los protocolos en los dos pilotajes y de forma independiente entre sí.


PILOTAJE DEL CUESTIONARIOCRITERIO KAPPA 1er

PILOTAJEPREV.

OBSERV.KAPPA 2ªPILOTAJE

PREV.OBSERV.

NIVELSIGNIFIC.

01. Define caso 0.11 83.9 0.51 22.9 <0.00102. Excepción total 0.14 2.1 0.54 6.7 <0.00103. Excepción parcial 0.57 19.9 0.50 11.2 <0.00104. Preferencias paciente 0.30 6.4 1.00 6.7 <0.00105. Revisión independiente -0.01 0.4 (*) 0.0 <0.00106. Pretest (*) 0.0 (*) 0.0 <0.00107. Método científico 0.06 2.1 (*) 0.0 <0.00108. Fuente de información 0.89 17.8 0.76 37.4 <0.00109. Fuerza evidencias -0.01 0.4 (*) 0.0 <0.00110. Beneficios cualitativa 0.41 14.0 (*) 0.0 <0.00111. Beneficios cuantitativa 0.11 1.3 (*) 0.0 <0.00112. Riesgos cualitativa 0.41 15.7 0.58 18.4 <0.00113. Riesgos cuantitativa 0.51 5.1 (*) 0.0 <0.00114 Costes cualitativa 0.90 4.7 (*) 0.0 <0.00115. Costes cuantitativa 1.00 2.5 (*) 0.0 <0.00116. Indice 0.69 4.2 0.86 8.9 <0.00117. Páginas númeradas 0.87 25.8 0.80 30.7 <0.00118. Legibilidad 0.62 91.9 0.66 94.4 <0.0119. Secuencia lógica 0.04 94.4 0.05 92.7 0.26120. Diagramas, algoritmo 0.58 8.5 0.73 12.8 <0.00121. Registro datos 0.76 28.5 0.71 11.2 <0.00122. Fecha edición 0.79 22.2 0.84 31.3 <0.00123. Periodo de vigencia (*) 0.0 1.00 3.4 <0.00124. Opinión unidad -0.01 0.4 (*) 0.0 <0.00125. Opinión otras unidades 0.33 3.4 0.79 2.8 <0.00126. Opinión usuarios -0.01 0.4 (*) 0.0 <0.001

(*).- I. Kappa No Cuantificado. División por 0 al no existir prevalencia de una de las variables.

VALORACION DE LOS PROFESIONALES

Participantes: 5 Hospitales, 23 ServiciosEncuestas recibidas: 349 (66%)

0 1 2 3 4 5 6 7 8 9

Legibilidad

Define caso

Secuencia lógica

Opinión unidad

Fecha edición

Excepción total

Excepción parcial

Riesgos cuali-cuantitativos

Páginas númeradas

Periodo de vigencia

Beneficios cuali-cuantitativos

Indice

Opinión otras unidades

Registro datos

Preferencias paciente

Método científico

Fuente de información

Fuerza evidencias

Costes cuali-cuantitativos

Opinión usuarios

Revisión independiente

Pretest

Diagramas, algoritmo

LIMITACIONES

¿Faltan Criterios?. Necesario adaptarlos progresivamente

a los requerimientos de los profesionales y la práctica.

No existe un punto a partir del cual se apruebe o rechace

un determinado documento. Debe quedar como decisión

del profesional que se autoevalúa.

No valora utilización, efectividad, o satisfacción.


CONCLUSIONES - 1

Para mejorar la calidad de la protocolización es

necesario determinar las caractercaracteríísticas de un buen sticas de un buen

protocoloprotocolo e intentar medirlas.

La medición permite tener una base explícita para

minimizar la variabilidad debida a las ausencias de ausencias de

directrices metodoldirectrices metodolóógicas.gicas.


CONCLUSIONES - 2

Lo que proponemos es un herramienta educativaherramienta educativa cuya

máxima utilidad se encuentra en los programas internos

de mejora. NO es un vehículo para la crítica destructiva

ni para identificar o enjuiciar la mala práctica.

Los profesionales, autores, clientes y/o usuarios de los

protocolos/guías deben asumir, definir y modelar los

Criterios de CalidadCriterios de Calidad a tener en cuenta.


Sin título de diapositiva · Determinar los factores que influyen en su utilización. Explorar la...

Documents

Transcript of Sin título de diapositiva · Determinar los factores que influyen en su utilización. Explorar la...