Resumen sobre Medicina Basada en Evidencia 2013

13

Click here to load reader

description

Resumen básico con conceptos de medicina basada en evidencia aplicados a la práctica clínica, con referencias útiles al respecto.

Transcript of Resumen sobre Medicina Basada en Evidencia 2013

Page 1: Resumen sobre Medicina Basada en Evidencia 2013

Resumen Medicina Basada en Evidencia

Dr. Martín Plaza Garmendia – Marzo 2013

Medicina Basada en la Evidencia (MBE): herramienta para el uso consciente, explícito y juicioso

de la mejor evidencia actual (datos/pruebas) en la toma de decisiones sobre la salud de las

personas (adaptado de (1)).

Para los no convencidos, críticos y dudosos de la MBE, que pasaría si no hubiera evidencia en la

cual basarse para la toma de decisiones, pues un artículo (2) plantea 7 alternativas:

1. Medicina basada en la eminencia: “cometer los mismos errores con una confianza aumentada a través de una impresionante cantidad de años”, el resplandor del pelo blanco sería el marcador de este fundamento

2. Medicina basada en la vehemencia: su marcador es el nivel de estridencia midiendo los decibeles con un audiómetro

3. Medicina basada en la elocuencia: (o elegancia)

la suavidad de la lengua (habla) o de un traje y el “bronceado fascinante” pueden ser poderosos sustitutos de la evidencia

4. Medicina basada en la providencia: si el facultativo no tiene idea que hacer, la decisión se la puede dejar al Todopoderoso

5. Medicina basada en la inseguridad: el marcador es el nivel de pesimismo midiendo los suspiros del que hace nada frente a un problema

6. Medicina basada en el nerviosismo: el miedo a los litigios es un estímulo poderoso para la sobreintervención

7. Medicina basada en la confianza: (sólo cirujanos)

el marcador es la bravata medida por la ausencia de sudor con un test del sudor

Si no le convencieron estas alternativas, pues siga leyendo a ver si la MBE le sirve para algo.

La aplicación de la MBE tiene 5 etapas (3):

1. Pregunta: formular pregunta clara y precisa

2. Búsqueda: revisar bases de datos en forma eficiente para responder la pregunta

3. Análisis: evaluación crítica de la validez y utilidad de la evidencia

4. Aplicación: resultados a la práctica considerando contexto y preferencias de las personas

5. Evaluación: auditar las decisiones basadas en evidencia (auditoría y retroalimentación)

[Referencia altamente recomendable (en inglés): Herramientas para cada etapa de la MBE del

Centro de MBE de Oxford]

Page 2: Resumen sobre Medicina Basada en Evidencia 2013

1. Definiendo La Pregunta

Para estructurar una pregunta específica es de utilidad el acrónimo PICO (4):

Problema o paciente

Intervención o exposición considerada

Comparación respectiva a la intervención o paciente (cuando sea necesario)

Outcome o evento o resultado de interés

Ejemplo: ¿En niños con tos aguda el uso de miel versus placebo disminuye la tos?

(P: niños; I: miel; C: placebo; O: tos aguda)

2. Buscando la evidencia

Para buscar la evidencia disponible, primero que todo debe conocerse las bases de datos

disponibles y tener acceso a ellas y luego tener una estrategia de búsqueda.

Bases de datos:

Primarias (sin filtro): la más conocida es MEDLINE (acceso gratuito) y se puede acceder

usan su motor de búsqueda PUBMED. También está EMBASE, versión europea cuyo

acceso es pagado y LILACS, base de datos latinoamericana.

Secundarias (filtradas): la biblioteca Cochrane contiene bases de datos independientes

con revisiones sistemáticas y resúmenes de revisiones. El ACP Journal Club selecciona

artículos según calidad y presenta un resumen, por su parte Clinical Evidence presenta

preguntas y la evidencia encontrada.

Metabuscadores: son motores de búsqueda (como Pubmed) pero buscan

simultáneamente en varios sitios y bases de datos, siendo más eficientes. Están

Sumsearch, Tripdatabase (en inglés) y Epistemonikos (múltiples idiomas), estos 2 últimos

son altamente recomendables por su interfaz gráfica amigable y sencilla.

Estrategia de búsqueda:

Dónde buscar: para quienes están en proceso de aprendizaje de herramientas de MBE es

recomendable que aprendan a usar Pubmed, para quienes quieren respuestas rápidas y

con buena evidencia sería recomendable buscar inicialmente en algún metabuscador

(Epistemonikos y/o Trip).

Pubmed: para buscar en Pubmed se recomienda usar términos Mesh, esta función

permite ver la ortografía e indexación del término a buscar. Luego de encontrar los

términos Mesh, se recomienda usar “Clinical Queries” que filtra por criterios

metodológicos los estudios a buscar. Además se recomienda usar booleanos (AND, OR,

NOT) para acotar la búsqueda.

o Ejemplo:

Page 3: Resumen sobre Medicina Basada en Evidencia 2013

Pregunta: ¿En niños con tos aguda el uso de miel versus placebo disminuye

la tos?

Búsqueda vía Clinical Queries de Pubmed: términos mesh "Honey"[Mesh]

AND "Cough"[Mesh], 4 revisiones sistemáticas, 2 atingentes, 1 con

resultados.

Si hubiera muchos resultados, se podría restringir por edad en límites

Metabuscadores: en éstos se busca con términos comunes y sin booleanos.

o Ejemplo:

Misma pregunta anterior: términos (honey and cough) en Trip y

Epistemonikos

Resultados: 3 RS en Epistemonikos, 4 RS en Trip, las mismas 2 atingentes y

1 con resultados (ídem encontrada x Pubmed)

Categorización evidencia: para elegir la mejor evidencia es importante tener cierta jerarquía

de la evidencia disponible, así una forma de priorizar es a través de esta clasificación (de

mayor a menor nivel de evidencia):

1. Guías de Práctica Clínica (GPC) basadas en evidencia

2. Revisiones panorámicas (de RS)

3. Revisiones sistemáticas (RS)

4. Estudios primarios (RCT, observacionales, casos)

5. Experiencia

Sin embargo, los niveles de evidencia dependen del tipo de pregunta a responder (prevalencia,

diagnóstico, pronóstico, tamizaje, tratamiento, etc.), así tenemos el grupo de trabajo del Centro de

MBE de Oxford que propone una tabla de niveles según la pregunta, destacando que una RS

generalmente es mejor que un estudio primario.

3. Análisis Crítico

Antes de analizar los resultados de un estudio debe analizarse el riesgo de sesgo del mismo o

también llamada “calidad” o validez interna del estudio.

Para hablar de sesgo, definiremos brevemente 2 tipos de error en el método experimental:

Error por azar: inherente a la observación y difícil de evitar, se puede distribuir en forma simétrica

con grupos comparables y una muestra amplia sin afectar los resultados.

Error sistemático o sesgo: se produce repetitivamente y en la misma dirección, generando

asimetría y afectando los resultados.

A continuación resumiremos el análisis crítico de diferentes tipos de estudio partiendo por su

validez interna (riesgo de sesgo) y luego la interpretación clínica de los resultados.

Page 4: Resumen sobre Medicina Basada en Evidencia 2013

Estudios de intervención (ensayos clínicos randomizados):

Criterio de validez interna Qué y Dónde buscar

1. ¿Randomizado? Ideal aleatorización computarizada centralizada y se busca en métodos

2. ¿Ocultamiento secuencia? (“concealed allocation”)

Ídem anterior

3. ¿Grupos similares? Buscar valores p no significativos en tabla comparativa de características basales, habitualmente tabla 1 sección resultados

4. ¿Análisis por intención de tratar? Sujetos analizados en el grupo asignado inicialmente, ver en resultados

5. ¿Seguimiento adecuado? Idealmente seguimiento >80%, en sección resultados ver pérdidas

6. ¿Ciego adecuado? Adjudicadores del resultado deberían desconocer quienes recibieron la intervención, ver en métodos

7. ¿Ausencia co-intervenciones? Ver en métodos las intervenciones adicionales y en resultados su aplicación efectiva

Interpretación de los resultados: frecuentemente se presentan en forma dicotómica como por

ejemplo muerte o infarto. Considere un estudio de bajo riesgo de sesgo en el cual el 15% del grupo

control murió y 10% del grupo tratamiento murió después de 2 años de tratamiento, los

resultados se pueden presentar de muchas formas como veremos.

Medida de efecto Significado

Riesgo Relativo (RR) = riesgo del evento en el grupo intervenido / riesgo del evento en el grupo control En el ejemplo previo: RR= 0.10/0.15=0.67

Cuántas veces es más probable que un evento ocurra en el grupo intervenido, así RR = 1 sin efecto, RR<1 disminuye riesgo y RR>1 aumenta. Ej. Dado RR<1, el tratamiento disminuye el riesgo de morir en 0.67 veces

Reducción de Riesgo Absoluto (RRA) = riesgo del evento en grupo control – riesgo del evento en grupo intervenido Ej. RRA= 0.15 – 0.10 = 0.05 o 5%

Diferencia absoluta entre la tasa de eventos de ambos grupos. Si RRA=0 la intervención no tiene efecto. Ej. El tratamiento reduce en 5% la tasa de mortalidad

Reducción de Riesgo Relativo (RRR) = RRA / riesgo del evento en grupo control. O bien RRR= 1-RR Ej. RRR= 0.05/0.15=0.33 o 33% ó RRR= 1 – 0.67 = 0.33 o 33%

Medida de efecto probablemente más reportada, dice la reducción de la tasa del evento en el grupo intervenido vs el control. Ej. El tratamiento reduce el riesgo de muerte en un 33% en relación al grupo control

Número Necesario a Tratar (NNT) = 1/RRA Ej. NNT= 1/0.05 = 20

Número de personas necesarias para tratar y prevenir 1 evento. Ej. Se necesitan tratar 20 personas por 2 años para evitar 1 muerte

Page 5: Resumen sobre Medicina Basada en Evidencia 2013

Precisión de los resultados: los resultados del estudio son estimadores del valor real y ese

resultado se denomina estimador puntual. Para evaluar la precisión de éste necesitamos conocer

el intervalo de confianza (IC), mientras más estrecho más preciso. También el IC sirve para ver la

significancia estadística siempre y cuando no pase por el valor de no efecto. Por convención se

utiliza con mayor frecuencia un IC de 95%

Ej: RR = 0.67 (IC 95% 0.60 – 0.70) Este riesgo relativo de 0.67 sería estadísticamente significativo

(no llega a 1) con un 95% de confianza y con bastante precisión (IC estrecho).

Estudios de diagnóstico:

Criterio de validez interna Qué y Dónde buscar

1. ¿Duda diagnóstica? Espectro completo de pacientes (mejor al azar o minimizando sesgo de selección), buscar en métodos el reclutamiento y características de los individuos

2. ¿Estándar de referencia a todos? Idealmente aplicar ambos test a todos y buscarlo en métodos (puede cambiarse por seguimiento en caso de test invasivos u otros reparos)

3. ¿Estándar de referencia adecuado?

En métodos debe describir si se aplicó el estándar de oro (“gold standard”) o una alternativa adecuada

4. ¿Comparación ciega e independiente?

En métodos se describe quien realizó ambos test y si fueron independientes y ciegos al resultado del otro

Interpretación de los resultados: se reportan al menos dos tipos de medidas, unas que apuntan a

la precisión del test (sensibilidad y especificidad) y las otras el desempeño del test en la población

que se prueba (valores predictivos). Considere un estudio de bajo riesgo de sesgo donde 1000

adultos mayores con sospecha de demencia se someten a una prueba diagnóstica nueva y un

estándar de referencia. La prevalencia es de 25% de demencia; 240 personas tuvieron resultado

positivo en ambas pruebas y 600, negativo en ambas. Lo primero es dibujar la tabla 2x2:

Page 6: Resumen sobre Medicina Basada en Evidencia 2013

Medida diagnóstica Significado

Sensibilidad (Sn) = proporción de personas con la condición y que tienen resultado positivo En el ejemplo previo: Sn= 240/250 = 0.96

Capacidad del test de identificar a las personas con la condición. Si Sn 100% un test negativo descarta condición (significa 0 falsos negativos) Ej. 10 personas (4%) fueron clasificadas falsamente como “sanas”. El test tiene una sensibilidad alta del 96%

Especificidad (Sp) = proporción de personas sin la condición y que tienen resultado negativo Ej: Sp= 600/750 = 0.80

Capacidad del test de identificar a las personas sin la condición. Si Sp 100%, un test positivo asegura condición (significa 0 falsos positivos) Ej. 150 personas (20%) fueron falsamente diagnosticadas. El test tiene una especificidad moderada del 80%

Valor Predictivo Positivo (VPP) = proporción de personas con test positivo que tienen la condición Ej: VPP= 240/390 = 0.62

Depende de la especificidad y la prevalencia de la condición. Ej. De las 390 personas que resultaron positivas, sólo el 62% tenía demencia

Valor Predictivo Negativo (VPN) = proporción de personas con test negativo que no tienen la condición Ej: VPN= 600/610 = 0.98

Depende de la sensibilidad y la prevalencia de la condición Ej. De las 610 personas con resultado negativo, el 98% son sanas

Likelihood ratio positivo (LR+) = razón entre la probabilidad que un examen sea positivo entre los pacientes que tienen la condición versus los que no la tienen. Ej: LR(+)= Sn/(1-Sp)= 0.96/(1-0.8)= 4.8

El likelihood ratio o cociente de probabilidad es una propiedad del examen y para su aplicación se usa el nomograma de Fagan. Como guía, cuando es mayor a 10 será suficiente para confirmar la condición en la mayoría de los casos. Ej: Si la prevalencia de demencia es 25% (probabilidad pre-test), al aplicar el test en esa población la probabilidad de demencia aumenta al 60%

Likelihood ratio negativo (LR-) = razón entre la probabilidad que un examen sea negativo entre los pacientes que tienen la condición versus los que no la tienen. Ej: LR(+)= (1-Sn)/Sp= (1-0.96)/0.8= 0.05

Como guía, cuando es menor de 0.1 será suficiente para descartar la condición en la mayoría de los casos. Ej: dada la probabilidad pre-test de 25% si el resultado es negativo baja al 1%

Para mayor información se recomienda la siguiente referencia:

Salech, Felipe et al. Estudios que evalúan un test diagnóstico: interpretando sus resultados. Rev.

méd. Chile, Santiago, v. 136, n. 9, sept. 2008.

Page 7: Resumen sobre Medicina Basada en Evidencia 2013

A modo de resumen se presenta la siguiente tabla 2x2:

Estudios de Pronóstico:

Criterio de validez interna Qué y Dónde buscar

1. ¿Muestra representativa? Cohorte incipiente (inicio enfermedad) y representativa de población objetivo. Buscar en métodos el estadio y lugar de reclutamiento.

2. ¿Seguimiento apropiado? Suficientemente largo para encontrar el desenlace y características de quienes completaron seguimiento. Buscar en resultados el tiempo de seguimiento y tabla comparativa de los que completaron y los que no.

3. ¿Desenlace definido o ciego? Clara definición de los desenlaces y los menos objetivos con evaluador ciego al factor pronóstico. Buscar en sección métodos la definición o criterios y en esa sección o resultados si hubo ciego.

4. ¿Ajuste por factores pronósticos?

El análisis en la sección resultados debiera ajustar factores conocidos, revisar análisis de subgrupos.

Page 8: Resumen sobre Medicina Basada en Evidencia 2013

Interpretación de los resultados: hay varias formas de reportar desenlaces, frecuentemente se

reportan como tasa (Ej. proporción de personas que experimenta un evento), ya que es simple,

fácilmente comunicable, entendible y recordable. Sin embargo, las tasas entregan poca

información y puede haber diferencias de pronóstico con tasas similares. Por esto se usan las

curvas de sobrevida, para estimar la sobrevida de una cohorte a lo largo del tiempo.

La figura abajo muestra la curva de sobrevida para 3 enfermedades con la misma tasa a 5 años.

Precisión de los resultados: se debe observar en los intervalos de confianza (IC) del 95%, mientras

más estrecho más preciso el estimador. La precisión del estimador depende del número de

observaciones y como el periodo más temprano de seguimiento incluyen mayor cantidad de

personas, los estimadores son más precisos (lado izquierdo de la curva), lo contrario ocurre con

estimadores más tardíos.

Page 9: Resumen sobre Medicina Basada en Evidencia 2013

Revisiones sistemáticas:

Criterio de validez interna Qué y Dónde buscar

1. ¿Pregunta clara y específica? Recordar el acrónimo PICO y buscar en título, resumen o introducción la pregunta u objetivo.

2. ¿Búsqueda amplia y detallada? Bases de datos relevantes (Medline, Cochrane, Embase, etc.) y también referencias de estudios relevantes como expertos para estudios no publicados. Sin límite de idioma e incluir palabras claves y términos Mesh. Buscar en métodos la estrategia de búsqueda y en resultados los estudios revisados y excluidos.

3. ¿Criterios de selección adecuados?

Criterios definidos a priori incluyendo pacientes, intervenciones o exposiciones y desenlaces. En muchos casos depende del diseño del estudio, buscar en métodos los criterios y diseños de estudio.

4. ¿Evaluación del sesgo de los estudios?

Debe haber criterios de validez adecuados al tipo de estudio (revisar tablas anteriores) en métodos y resultados.

5. ¿Evaluación de la heterogeneidad?

Los resultados deberían ser similares y sino explorar razones para la heterogeneidad en resultados.

6. ¿Revisión replicable? Es recomendable la existencia de 2 revisores independientes para asegurar una búsqueda y selección menos sesgada, buscar en métodos.

Interpretación de los resultados: la revisión entrega un resumen de los resultados individuales y si

son similares se usa un meta-análisis para combinar los resultados y calcular un estimador global.

El meta análisis le da peso a cada estudio y los resultados se expresan en una forma estándar: RR,

OR, diferencia de medias y se presentan en una figura llamada “forrest plot” o gráfico de bosque.

Medida de efecto Significado

Odds ratio (OR) o razón de chance= cociente entre la chance (ocurrencia/no ocurrencia) del evento en el grupo intervenido y la chance del evento en el grupo control. OR = (a/b) / (c/d) = (axd) / (cxb)

Es un método de estimación de riesgo relativo y permite determinar factores asociados a una exposición. Útil en estudios casos controles, es independiente de la incidencia. OR= 1 indica ausencia de efecto.

Page 10: Resumen sobre Medicina Basada en Evidencia 2013

Ejemplo:

Meta-análisis de 5 estudios sobre el efecto de un tratamiento en la mortalidad. Los estudios se

representan por un cuadrado negro (estimador puntual) y una línea horizontal (IC 95%), el tamaño

del cuadrado representa el peso del estudio. La línea vertical corresponde al “no efecto” del

tratamiento dado que es un OR = 1 y cuando el IC pasa por el 1 no es estadísticamente

significativo.

El diamante o rombo representa el estimador combinado de los 5 estudios con su IC. En este caso,

el tratamiento reduciría la mortalidad en un 34% (OR 0.66 IC95% 0.56-0.78) y sería

estadísticamente significativo. El test para efecto global también indica significancia (p<0.00001)

Heterogeneidad: “al ojo” uno puede observar la heterogeneidad en los resultados, pero hay test

estadísticos como el test Q de Cochran (chi cuadrado), si es estadísticamente significativo (p<0.1)

hay heterogeneidad. Si no es estadísticamente significativo, pero la razón Q de Cochran y grados

de libertad (Q/df) es >1 hay posibilidad de heterogeneidad, si es <1 es muy poco probable la

heterogeneidad.

Ejemplo: arriba el Q/df es <1 (0.92/4= 0.23) y el p no es significativo (0.92) indicando que no hay

heterogeneidad.

Page 11: Resumen sobre Medicina Basada en Evidencia 2013

4. Aplicabilidad: tomando una decisión

Luego de analizar los estudios e interpretar los resultados viene el proceso de responder la

pregunta inicial para la toma de decisiones, para esto sirve evaluar la aplicabilidad.

Aplicabilidad o validez externa: grado en el que los resultados de un estudio son aplicables a

distintos escenarios clínicos.

Existen 3 objetivos para tomar decisiones:

1. Definir la población y la intervención (ya revisado con el PICO)

2. Buscar y entender los sesgos (volver al análisis crítico)

3. Interpretar los resultados y aplicarlos a tu paciente/población (en la interpretación de

resultados es importante recordar 3 aspectos: tamaño muestral, la medida de resultado y

la probabilidad o confianza en el resultado)

En el caso de estudios de intervención para aplicar los resultados deben responderse las

siguientes preguntas:

¿Es mi paciente/población similar a los/la del estudio?

¿Evaluó el estudio todos los outcomes clínicamente relevantes?

¿La intervención es posible en mi contexto?

¿El beneficio supera los riesgos y costos potenciales?

En los estudios de diagnóstico:

¿Los métodos para realizar el test son replicables?

En estudios de pronóstico:

¿Es mi paciente/población similar a los/la del estudio?

¿Esta evidencia tendrá un impacto clínicamente relevante respecto a mi conducta?

5. Evaluación del rendimiento

Uno se pregunta ¿por qué molestarse en buscar evidencia? ¿por qué es tan difícil mantenerse

actualizado? y estas preguntas aumentan dado que el mayor problema es el volumen del material

publicado: 20.000 estudios al año, 50 ECR al día (¡Y cómo sería sin sesgo de publicación!).

“Es asombroso cómo con poca lectura un médico puede ejercer la medicina, pero no es

sorprendente lo mal que puede hacerlo”. Sir William Osler (1849-1920)

Uno podría considerar alguna de las siguientes alternativas:

Leer una revista con resúmenes basados en evidencia (p.e. Evidence-Based Medicine)

Mantener un logbook de preguntas clínicas

Desarrollar un grupo de discusión basado en casos sobre preguntas guardadas y

seleccionadas

Page 12: Resumen sobre Medicina Basada en Evidencia 2013

Para conseguir un balance adecuado puede ser útil pensar en el aprendizaje como una actividad

“empujar” y “tirar”.

Método “empujar”: se puede recolectar información de múltiples fuentes como lecturas,

seminarios, revistas, etc. Para esto puedes considerar leer algún material preanalizado, por

ejemplo la herramienta gratuita EvidenceUpdates del Centro de Evidencia del BMJ, que envía a tu

correo electrónico la mejor evidencia del tópico de tu interés.

Método “tirar”: usando el PICO puedes mantener un registro de preguntas y tirar (buscar)

información según tú necesidad. Recursos como los citados inicialmente: Epistemonikos,

Tripdatabase o bien UpToDate, son útiles para responderlas.

Entonces, ¿cuáles debieran ser los primeros pasos en desarrollar una práctica basada en la

evidencia?

1º Leer una revista con resúmenes basados en evidencia

2º Mantener un registro (logbook) de preguntas

3º Participar en un grupo de discusión efectivo: preguntas dirigidas con análisis enfocados y

registro escrito de un tema evaluado críticamente (p.e. Best BETs)

Si quedaste entusiasmado con la medicina basada en la evidencia y además quieres generar tu

propia evidencia, puedes averiguar más sobre herramientas de diseño de investigación en el

Centro para la Medicina Basada en Evidencia de la Universidad de Oxford.

Y lo más importante, recuerda que la MBE es una herramienta y para aplicarla requiere de

“alguien” que pueda usar su juicio y “alguien” que pueda beneficiarse de ella, en esa interacción

es donde ocurren muchos otros procesos que hacen más compleja la práctica basada en evidencia.

Page 13: Resumen sobre Medicina Basada en Evidencia 2013

Recursos

Chilenos:

Unidad de Medicina Basada en la Evidencia UC

Glosario de Medicina Basada en la Evidencia

Medicina Familiar UC (resúmenes basados en evidencia)

Extracto de Centro Cochrane Iberoamericano:

Entre los recursos disponibles en Internet, estos son numerosísimos. Para acceder a ellos de forma

eficiente, existen varios sitios que ofrecen listas o directorios completos con las direcciones de

mayor interés donde podrá obtener miles de documentos. Las detalladas a continuación resultan

muy útiles:

1. Centre for Evidence Based Medicine de Oxford (Reino Unido)

2. Health Information Research Unit (HIRU) de la Universidad de Mc Master (Canadá)

3. Página en castellano de la MBE (España)

4. NHS Centre for Reviews and Dissemination de la Universidad de York (Reino Unido)

5. Guía de la Evidencia de la ScHARR de la Universidad de Scheffield

6. JAMAevidence

Referencias

1. Evidence based medicine: what it is and what it isn't. Sackett. s.l. : BMJ, 1996, Vol. 312.

2. Seven alternatives to evidence based medicine. Isaacs. s.l. : BMJ, 1999, Vol. 319.

3. Sicily statement on evidence-based practice. Dawes. 1, s.l. : BMC Medical Education, 2005, Vol.

5.

4. The well-built clinical question: a key to evidence-based decisions. Richardson. 3, s.l. : ACP

journal club, 1995, Vol. 123.