Post on 05-Jul-2015
description
Enrique Gavilán MoralEnrique Gavilán Moral
Córdoba, 4 de Abril de 2008Córdoba, 4 de Abril de 2008
Estudio de validación del cuestionario Estudio de validación del cuestionario CICAA para evaluar la comunicación CICAA para evaluar la comunicación
clínica en consultas de Medicina y clínica en consultas de Medicina y EnfermeríaEnfermería
IntroducciónIntroducción
Comunicación clínica: conceptoComunicación clínica: concepto
Intercambio
Relación
Personas: Profesional sanitario / pacientes
y familiares
Contexto clínico
Contexto social y cultural
Fases validaciónFases validación
1. Delimitación conceptual
2. Construcción y evaluación cualitativa
3. Refinamiento de la escala
4. Estudio de la dimensionalidad
5. Estimación de la fiabilidad
6. Obtención de la validez externa
7. Aplicabilidad, aceptabilidad, universalidad y sensibilidad al cambio
• Fundamentado en modelo bien definido• Categorías observables• Claridad en los conceptos medidos• Título acorde con el constructo medido• Validez y fiabilidad documentada y apropiada• Fácilmente aplicable y con costes asumibles• Credibilidad
Kraan et al., Pendleton et al., Kalamazoo II Report, Street, Epstein et al.
Criterios calidad cuestionarios Criterios calidad cuestionarios comunicación clínica (1)comunicación clínica (1)
• Impacto educacional• Que contenga tareas comunicativas básicas:
1. Construir la relación clínica2. Abrir la discusión3. Obtener información4. Entender la perspectiva del paciente5. Compartir información6. Alcanzar acuerdos sobre los problemas y los planes7. Cerrar la consulta
Kraan et al., Pendleton et al., Kalamazoo II Report, Street, Epstein et al.
Criterios calidad cuestionarios Criterios calidad cuestionarios comunicación clínica (2)comunicación clínica (2)
Multitud de cuestionarios
Pocos aportan datos de validez
Casi todos han demostrado ser fiables
Convergencia baja entre instrumentos distintos
Pocas miden las dimensiones principales de la comunicación centrada en el paciente
Déficit valoración aspectos contextuales y de lenguaje no verbal
Kraan et al., Boon y Stewart, Mead y Bower, Kalamazoo Consensus Statement
Limitaciones instrumentos Limitaciones instrumentos existentesexistentes
El cuestionario El cuestionario GATHAGATHA (1) (1)
Más ampliamente utilizado en nuestro país
Diversas versiones para distintos usos
Tipo checklist
Ventajas
Número de ítems relativamente pequeño
Fácil y rápido de usar
Proceso de entrenamiento observadores simple
Preciso y objetivo
El cuestionario El cuestionario GATHAGATHA (2) (2)
Limitaciones
Modelo poco preciso
Aporta escasa información
No incluye ítems esenciales (facilitadores y preguntas abiertas)
Dificultad para valorar los aspectos emocionales, proceso de información del paciente o participación paciente
Enfoque descriptivo, no evaluativo
El modelo teórico El modelo teórico CICAACICAA
Orientado a los objetivos de la consulta
Encuadrado en “comunicación centrada en paciente”
Tareas del modelo CICAA:
1.Conectar
2. Identificar y Comprender
3.Acordar
4.Actuar
El modelo operativo El modelo operativo CICAACICAA
TAREAS
HABILIDADES
TÉCNICAS
RESULTADOS
CONSIDERACIONES ÉTICAS
Sobre el paciente
Sobre el médico
Sobre la relación
Sobre el sistema
JustificaciónJustificación
JustificaciónJustificación
Relación clínica medible a través de cuestionarios
La mayoría no validados o procedentes de ámbitos culturales y sanitarios diferentes
Muchos de ellos no siguen las principales recomendaciones de expertos
En nuestro país, el cuestionario GATHA ha evidenciado limitaciones metodológicas
ObjetivosObjetivos
Objetivos (1)Objetivos (1)
1. Construir y comprobar validez cualitativa
(aparente, de consenso y de contenido)
2. Analizar las propiedades psicométricas y
atributos de la escala:
• Concordancia intraobservador e
interobservador
• Consistencia interna
Objetivos (2)Objetivos (2)
c) Dimensionalidad
d) Generalizabilidad
e) Factibilidad
f) Refinamiento de los contenidos
g) Validez convergente
h) Sensibilidad al cambio
Material Material y y
métodosmétodos
Tipo de estudio y ámbitoTipo de estudio y ámbito
Tipo de estudio
Observacional descriptivo
Ámbitos del estudio
Consultas clínicas de atención primaria y
especializada adscritos a ocho unidades
docentes del SNS
Fases del estudioFases del estudio
1.- Construcción de la escala
2.- Validación cualitativa
Análisis bibliográficoElaboración de los ítems
Validez aparente, de contenido y consenso
3.- Pilotaje
FiabilidadAnálisis factorialFactibilidadRefinamientoValidez convergenteSensibilidad al cambio
5.- Análisis propiedades psicométricas y atributos
4.- Trabajo de campo
Entrenamiento de los observadoresVisualización de las entrevistas
Comprobar la estructura Concordancia intraobservador expertoConsistencia interna preliminarSegunda versión
Tercera versión
Cuarta versión
Primera versión
Validación cualitativaValidación cualitativa
ParticipantesGrupo de 19 expertos en comunicación
clínica (médicos, psicólogos, enfermeros)
SelecciónVoluntaria
ProcedimientosTécnica tipo Delphi con dos rondas de
trabajo
Propiedades psicométricas (1)Propiedades psicométricas (1)
Sujetos
Procedentes de 5 estudios previos
Profesionales: Médicos Residentes de MFyC,
Médicos de Familia, Médicos de Atención
Especializada, Enfermería de Atención Primaria
Pacientes: Consultas de AE y de AP
Tipos de pacientes: Reales y estandarizados
Motivos de consulta: Crónicos e incidentes
Propiedades psicométricas (2)Propiedades psicométricas (2)
Muestreo
Diferentes técnicas de muestreo según propiedad analizada y submuestra empleada
Siempre que fue posible, muestreo aleatorio (sistemático); el resto, de conveniencia o universal
Tamaño
Unidad de muestreo: Videograbación entrevista
Validación: 200-300 o 5-10 por ítem = 145-290 casos
Fiabilidad: 2 x (nº ítems)2 = 18 entrevistas
Análisis estadístico (1)Análisis estadístico (1)
Validación cualitativa
Media, límites de la distribución y varianza
Concordancia
Índice Kappa (κ) de Cohen ponderado
Coeficiente de Correlación Intraclase (CCI)
Método de Bland y Altman
Consistencia interna
Coeficiente alfa (α) de Cronbach
Análisis estadístico (2)Análisis estadístico (2)
Análisis factorial exploratorioAnálisis componentes principales con rotación
varimax
Índice de adecuación de la muestra de Kaiser-Mayer-Olkin y test de esfericidad de Barlett
Solución factorial y matriz de correlaciones (coeficiente rho –r- de Pearson)
GeneralizabilidadCálculo de CCI en una serie de mediciones
Análisis estadístico (3)Análisis estadístico (3)
Refinamiento de la escalaTasa de endose
Correlación ítem-total (r)
Coeficiente α de Cronbach
Validez convergenteCon el cuestionario GATHA
Cálculo de r
Sensibilidad al cambioPrueba T de Student para datos apareados
Resultados Resultados y y
discusióndiscusión
Construcción y validación Construcción y validación cualitativacualitativa
Construcción
35 ítems
4 tareas
Validación cualitativa
Supresión 6 ítems, modificación 19 ítems
n = 20
Concordancia intraobservador Concordancia intraobservador (ítems)(ítems)
-0,1
0,1
0,3
0,5
0,7
0,9
Kap
pa
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29
Nº ítem
Experto Observador nº 1 Observador nº 2
Concordancia intraobservador Concordancia intraobservador (tareas, factores y global)(tareas, factores y global)
-0,1
0,1
0,3
0,5
0,7
0,9
CC
I
Tarea 1 Tarea 2 Tareas 3y 4
Factor 1 Factor 2 Factor 3 Factor 4 Factor 5 Factor 6 GLOBAL
Experto Observador nº 1 Observador nº 2
Concordancia intraobservadorConcordancia intraobservador
Observador nº 1
Muestra homogénea
n = 37
Experto
Muestra heterogénea
n = 31
Observador nº 2
Muestra heterogénea
n = 30
Concordancia interobservador Concordancia interobservador (ítems)(ítems)
0
0,2
0,4
0,6
0,8
Kap
pa
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29
Nº ítem
Experto - Obs. nº 1 Experto - Obs. nº 2 Obs. nº 1 - Obs. nº 2
Concordancia interobservador Concordancia interobservador (tareas, factores y global)(tareas, factores y global)
0
0,2
0,4
0,6
0,8
1
CC
I
Tarea 1 Tarea 2 Tareas 3y 4
Factor 1 Factor 2 Factor 3 Factor 4 Factor 5 Factor 6 GLOBAL
Experto - Obs. nº 1 Experto - Obs. nº 2 Obs. nº 1 - Obs. nº 2
Concordancia interobservadorConcordancia interobservador
Experto - Obs. nº 2
Muestra heterogénea
n = 24
Experto – Obs. nº 1
Muestra heterogénea
n = 24
Obs. nº 1 - Obs. nº 2
Muestra heterogénea
n = 61
ConcordanciaConcordancia
Mayor fiabilidad intra que interobservador
Puntuaciones valoración experto más altas
Test-retest: Evaluaciones segunda ronda mayores
Mayor concordancia en poblaciones homogéneas
Reproducibilidad globalmente alta
Limitaciones de los indicadores empleados (κ)
Dificultad evaluación de determinados ítems
Concordancia otras escalasConcordancia otras escalas
Concordancia inferior a CICAA
Eurocommunication scale: CCI = 0,58
Patient Centred Method: CCI = 0,58
RIAS (Roter): CCI = 0,71
Concordancia similar a CICAA
GATHA-Res: CCI = 0,94 - 0,99 y κ = 0,62 - 1,0 (intra)
GATHA-Real: CCI = 0,86 y κ = 0,48 - 1,0 (intra); CCI = 0,44 y κ = 0,28 - 1,0 (inter)
Consistencia internaConsistencia interna
0,86Factor 1
0,94Factor 2
0,86Factor 3
0,92Observador nº 2
0,62Factor 4
0,91Global (versión 29 ítems)
0,91Muestra homogénea
0,95Muestra heterogénea
0,93Global (versión 26 ítems)
0,94Observador nº 1
0,95Experto
Valor α
n = 115
Consistencia interna otras Consistencia interna otras escalasescalas
• Interpersonal Communication Assessment Scale: α = 0,98
• Eurocommunication scale: α = 0,90
• Arizona Clinical Interview Rating Scale: α = 0,80
• Four Habits Coding Scheme: α = 0,51 - 0,81
• GATHA-Res-CP: α = 0,64 - 0,71 (0,76)
Análisis factorial (1)Análisis factorial (1)
4,1%1Recibimiento6
4,4%1Manejo desacuerdo
5
4,5%3Toma decisiones4
7,7%6
Escucha activa3
16,7%5Información2
28,6%10Exploración de la
esfera psicosocial
1
% VarianzaNº de ítemsNombreFactor
n = 196
Análisis factorial (2)Análisis factorial (2)
Correspondencia factores CICAA con dimensiones de “modelos centrados en el paciente”
333 y 436 y 7Discusión toma
decisiones y compromisos finales
14123Escucha activa
---45Información
2 y 51, 2 y 41 y 21 y 21 y 4Exploración esfera
psicosocial
StewartMeadEpsteinPOE
MFyCKalamazoo
Tareas o dimensiones de otros modelosFactor de la escala
CICAA
Generalizabilidad concordancia Generalizabilidad concordancia intraobservadorintraobservador
00,20,40,60,8
11,2
0 3 6 9 12 15 18 21 24 27 30
Nº de entrevistas
CC
I
Observador nº 1 Observador nº 2 Experto
Generalizabilidad concordancia Generalizabilidad concordancia interobservadorinterobservador
0
0,2
0,4
0,6
0,8
1
1,2
0 3 6 9 12 15 18 21 24 27 30 33 36 39 42 45 48 51 54 57 60
Nº de entrevistas
CC
I
Obs. nº 1 - Obs. nº 2 Experto - Obs. nº 1 Experto - Obs. nº 2
Tasa endoseTasa endose
0%
20%
40%
60%
80%
100%
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29
Número del ítem
Tas
a d
e en
do
se
No procede
Casi totalmente
Aceptablemente
Muy escasamente
n = 146
Correlación ítem - totalCorrelación ítem - total
n = 146
Convergencia Convergencia CICAA-GATHACICAA-GATHA
r = 0,67
p < 0,001
n = 138
403020100
Total puntuación escala CICAA
25
20
15
10
5
Tot
al p
untu
ación
cues
tion
ario G
ATH
A
403020100
Total puntuación escala CICAA
25
20
15
10
5
To
tal p
un
tuac
ión
cu
esti
on
ario
GA
TH
A
Sensibilidad al cambioSensibilidad al cambio
Dm: Diferencia de las medias
n = 100
13,06Pre-intervención0,082,84
15,90Post-intervención
pDmMediaSituación
LimitacionesLimitaciones
Limitaciones (1)Limitaciones (1)
Tamaño muestral
Compleja, variable
Adecuada para fiabilidad y validez (menos sensibilidad al cambio y convergencia)
Sesgos de selección
Muestreo “estudios fuente”: Conveniencia
Muestreo estudio validación: Probabilístico en casi todos
Garantía de muestras heterogéneas (Jenicek)
Limitaciones (2)Limitaciones (2)
Sesgos de información
Fuentes de sesgos información: Instrumento no
adecuado e imprecisiones o errores de clasificación
Validez externa
Propósito
Características evaluadores
Características profesionales evaluados
Ámbito de evaluación
ConclusionesConclusiones