Análisis de datos y Estadística Avanzada -...

Análisis de datos y Estadística AvanzadaMáster Interuniversitario de Astrofísica UCM+UAM

Tema 3: Cálculo de errores

Javier Gorgas y Nicolás CardielDepartamento de Astrofísica y Ciencias de la Atmósfera

Facultad de Ciencias Físicas

Universidad Complutense de Madrid

Tema 3: Cálculo de errores (♣) Análisis de datos y Estadística Avanzada 1Curso 2010/2011 1 / 78

Esquema

1 IntroducciónDistinción entre errores e incertidumbresEstandarizando la expresión de incertidumbresCálculo de incertidumbres

2 Incertidumbres aleatoriasEstadística de los (foto)electronesPropagación de incertidumbresIncertidumbres en la medida de índicesIncertidumbres en los parámetros físicos¿Y cuando sólo tenemos los datos?

3 Efectos sistemáticosAlgunas fuentesTratamientoUn ejemplo astronómico


Introducción Distinción entre errores e incertidumbres

Esquema






Diferenciar entre errores e incertidumbresAunque en la literatura científica normalmente se habla genéricamentede cálculo de errores, es muy útil distinguir entre errores eincertidumbres.

Error: resultado de una medida menos el valor verdadero de lamagnitud (¡este último es normalmente desconocido!).

Error = Xmedida − XrealIncertidumbre: parámetro ∆X asociado con el resultado de unamedida, que caracteriza la dispersión de los valores que deberíanatribuirse de forma razonable a la magnitud a medir.

Xreal ∈ [Xmedida −∆X, Xmedida + ∆X] ←�

con una ciertaprobabilidad



Errores, incertidumbres,. . . ¡El caos!Diferentes organizaciones han apoyado el desarrollo de una guía parala expresión de incertidumbres en las medidas:

BIPM Bureau International des Poids et MeasuresIEC International Electrotechnical ComissionIFCC International Federation of Clinical ChemistryISO International Organization of StandardizationIUPAC International Union of Pure and Applied ChemistryIUPAP International Union of Pure and Applied PhysicsOIML International Organization of Legal Metrology

⇒ GUM: Guide to the expression of Uncertainty in Measurement,http://www.bipm.org/en/publications/guides/gum.html(Bureau International des Poids et Measures)



Guide to the expression of Uncertainty in Measurement(*)Estructura de la GUM:

Conceptos básicos.Recomendaciones.Procedimientos de evaluación.

(*) El procedimiento de evaluación de incertidumbres presentado en la GUM, la ley de propa-gación de incertidumbres, es válido para modelos lineales (o linealizables). Sin embargo, enalgunas ocasiones es necesario aplicar métodos más avanzados.


Introducción Estandarizando la expresión de incertidumbres

Esquema






GUM: ¿Incertidumbres aleatorias y sistemáticas?A la incertidumbre en el resultado de una medida contribuyen factoresque pueden clasificarse en dos categorías:

Categoría A: factores que pueden evaluarse utilizando métodosestadísticos (típicamente a partir de medidas repetidas).Categoría B: factores que deben ser evaluados por otrosmétodos, como por ejemplo la información procedente de laexperiencia en la realización de medidas anteriores, de lacalibración y comportamiento de los instrumentos de medida,. . . ydel sentido común.

Estas categorías no sustituyen a los adjetivos “aleatorio” y “sistemático”.



Evitar el uso de incertidumbre sistemáticaLa incertidumbre de una corrección realizada sobre una medidapara compensar de un efecto sistemático no es el errorsistemático en el resultado de la medida debido a dicho efecto. Setrata más bien de una medida de la incertidumbre del resultadodebido a un conocimiento incompleto del valor de la corrección.La incertidumbre asociada a la corrección de un efectosistemático debe cuantificarse. Esto podrá realizarse siguiendométodos estadísticos tradicionales (categoría A), o mediantecualquier otro tipo de evaluación (categoría B).Ejemplo de corrección sistemática, categoría B: desconocimiento absoluto de la distribución de los errores, salvola cuantificación del intervalo [a−, a+] que, de forma práctica, tiene un ∼ 100% de probabilidades de contener a lacorrección sistemática. En ese caso, la mejor estimación de la corrección será (a− + a+)/2, y la desviación típicaasociada vendrá dada por

s = a/√

3, con a = (a+ − a−)/2.

Si se supone una distribución triangular, se reduce en un factor√

2, es decir s = a/√

6. Siguiendo con otro factor√2, podemos decir que s = a/

√12 para una normal en la que [a−, a+] contiene una área de 0.9995 � 1.0000.



GUM: cuantifiación de incertidumbresEl conocimiento sobre cualquier magnitud que participa en elproceso de medida es incompleto y debe expresarse como unadistribución de probabilidad o función de densidad, (PDF, delinglés probability density function).Como mejor estimación de cada una de las magnitudesinvolucradas se utilizará el valor esperado a partir de la PDF:

µ = E(X) =

8>>><

>>>:

X

i

xi f (xi) variable discreta (función de probabilidad)

Z ∞

−∞x f (x) dx variable continua (función de densidad)

Como estimación de las incertidumbres se utilizará la desviaciónestándar (σ = +

√σ2) deducida a partir de la PDF:

σ2 = E

“(X − µ)2

”= E(X

2)− µ2 =

8>>><

>>>:

X

i

x2i

f (xi)− µ2 variable discreta

Z ∞

−∞x

2f (x) dx− µ2 variable continua



GUM: expresión de incertidumbresDeterminar la incertidumbre estándar combinada uc, teniendo encuenta todas las fuentes de incertidumbre involucradas(típicamente mediante una suma cuadrática).Obtener una incertidumbre expandida U, a partir de la aplicaciónde un factor de cubrimiento k, es decir U = k uc, de forma quepueda afirmarse, con un elevado nivel de confianza,

Xreal ∈ [Xmedida − U, Xmedida + U]

Se recomienda k = 2 (que equivale a un nivel de confianza(1− α) � 95.5% para una distribución normal).Justificar el uso de k �= 2.



GUM: ¿Qué es la probabilidad?(...) en contraste con la visión (clásica) basada en las frecuencias,la probabilidad debe entenderse como una medida del grado decredibilidad de que algo va a ocurrir.

Es una definición más acorde con la visión bayesiana deprobabilidad.

Nota: auque en la definición anterior se dice textualmente “. . . de que algo va a ocurrir.”, nosignifica que sólo se refiera a eventos futuros. En realidad la frase se refiere más a que algo se

probará que es, será o fue cierto.


Introducción Cálculo de incertidumbres

Esquema






CÁLCULO DE INCERTIDUMBRES

Supongamos que una magnitud A depende de una serie de parámetros (X, Y, . . .)

A = f (X, Y, . . .)

Podemos estudiar la variación en A debida a variaciones en los parámetros haciendo un desar-rollo en serie de Taylor

(δA)2 �»„

∂f

∂X

«δX +

„∂f

∂Y

«δY + . . .

–2=

=

„∂f

∂X

«2(δX)2 +

„∂f

∂Y

«2(δY)2 + . . . + 2

„∂f

∂X

«„∂f

∂Y

«(δX)(δY) + . . .

• Se suele asumir que los parámetros (X, Y, . . .) no están correlacionados⇒ (δX)(δY) = 0, . . .• Al suponer (δX, δY, . . .) pequeños⇒ despreciamos derivadas de orden superior.• Como los valores reales de (X, Y, . . .) son desconocidos, se asume

A = f (X, Y, . . .)

Sustituyendo las variaciones en los parámetros (δX, δY, . . .) por la incertidumbres (∆X, ∆Y, . . .),se estima la incertidumbre en la magnitud A como

(∆A)2 =

„∂f (X, Y, . . .)

∂X

«2

(∆X)2 +

„∂f (X, Y, . . .)

∂Y

«2

(∆Y)2 + . . .



¿Cómo se suele determinar (X ±∆X), (Y ±∆Y),. . . ?

• Si X se deduce de una serie de medidas (X1, X2, . . . , Xn), típicamente se utiliza

X =1n

nX

i=1

Xi,

∆X = tα/2,n−1s√

n, donde s =

sPn

i=1(Xi − X)2

n− 1

Por ejemplo, para un nivel de confianza del 95% (nivel de significación α = 0.05):t0.025,1 t0.025,2 t0.025,3 t0.025,4 t0.025,5 t0.025,10 t0.025,∞ = z0.02512.8 4.30 3.18 2.78 2.57 2.23 1.96

• Si las medidas tienen errores distintos y conocidos,

X =

Pn

i=1 wiXiPn

i=1 wi

, donde wi = 1/(∆Xi)2

∆X = tα/2,n−1

1

Pn

i=1 w2i

!1/2

Precaución: pensar antes de eliminar puntos.So unexpected was the hole that for several years computers analysing ozone data had systematically thrown out the readingsthat should have pointed to its growth.New Scientist, 31 March 1988



¿Forma correcta de expresar un resultado?

[medida] ± [incertidumbre] unidades

Ejemplo: La medida la distancia entre la Tierra y la Luna en elmomento de un eclipse total de Sol es

D = 384971843 ± 124391 m

Indicar cuál es el redondeo correcto:

(a) D = (3.850 ± 0.001)× 108 m(b) D = (3.8497 ± 0.0012)× 108 m(c) D = (3.84972 ± 0.00124)× 108 m



¿Forma correcta de expresar un resultado?

[medida] ± [incertidumbre] unidades

Ejemplo: La medida la distancia entre la Tierra y la Luna en elmomento de un eclipse total de Sol es

D = 384971843 ± 124391 m

Indicar cuál es el redondeo correcto:

(a) D = (3.850 ± 0.001)× 108 m(b) D = (3.8497 ± 0.0012)× 108 m(c) D = (3.84972 ± 0.00124)× 108 m(d) nos falta información (¿incertidumbre en la incertidumbre?)



¿Cómo se estima la incertidumbre en la incertidumbre?

Al estudiar la varianza de una población normal (¡sí, asumimos normalidad!), se ve que la hipóte-sis nula H0 : σ2 = σ2

0 no se puede rechazar si

(n− 1)s2

σ20

∈ [χ21−α/2,n−1, χ

2α/2,n−1],

donde χ2α/2,n−1 es la abcisa de la distribución χ2 con n − 1 grados de libertad que deja a su

derecha un área de probabilidad igual a α/2 (y lo equivalente para χ1−α/2,n−1). Empleando estarelación, podemos expresar el cociente s/σ0 como

s

σ0∈

2

4

sχ2

1−α/2,n−1

n− 1,

sχ2

α/2,n−1

n− 1

3

5 . (1)

Suponiendo que los valores de s/σ0 para diferentes muestras de tamaño n fijo siguen aproximada-mente una distribución normal, podemos estimar la desviación típica de este cociente utilizando

σinferiors/σ0

=

sχ2

1−α/2,n−1

n− 1zα/2

y σsuperiors/σ0

=

sχ2

α/2,n−1

n− 1zα/2

, (2)

donde distingimos entre el valor inferior y superior por la asimetría presente para valores de n

pequeños. Para valores de n grandes se puede demostrar que los límites no dependen de α,

σs/σ0 � (2n− 2)−1/2. (3)



Estudio de la variación del cociente s/σ0 con el tamaño de la muestra n. Las líneas continuas son los valores estimados apartir de la Eq (1) para un nivel de confianza de 95% (α = 0.05; es interesante recordar que z0.025 = 1.96). Las líneas detrazos y de puntos son la estimación de la desviación típica en cada caso, estimada como 1 ± σ

s/σ0usando las Eqs. (2) y (3),

respectivamente. Los símbolos corresponden a 10000 simulaciones de Monte Carlo, para muestras de tamaño n extraídas alazar de una población normal N(4, 1). Los círculos rojos son los valores promedio de s/σ0 en las simulaciones. Los triángulosrellenos indican la estimación numérica de ±σ

s/σ0alrededor de los círculos rojos, mientras que los triángulos abiertos indican

la región 1 ± σs/σ0

.



n 2 3 4 5 6 7 8 9 10 20σ

s/σ00.707 0.500 0.408 0.354 0.316 0.289 0.267 0.250 0.236 0.162

n 30 40 50 60 70 80 90 100 1000 10000σ

s/σ00.131 0.113 0.101 0.092 0.085 0.080 0.075 0.071 0.022 0.007


Incertidumbres aleatorias Estadística de los (foto)electrones

Esquema






La estadística de los (foto)electrones

Los fotones llegan al telescopio (detector) siguiendo una estadística de Poisson. El númeropromedio de electrones generados en un pixel por unidad de tiempo viene determinado por elnúmero de fotones incidentes, Nγ , y la eficacia cuántica, q, mediante

Ne = q Nγ .

Se podría pensar, erróneamente, que la incertidumbre en el número de electrones (σe) puedecalcularse directamente, derivando la relación anterior, es decir

σe = q σγ = q

pNγ = q

sNe

q=p

qNe.

Sin embargo, esta deducción no es correcta. En realidad

σe =√

Ne.

Esto se entiende porque, dado un número de fotones que inciden en el detector, cada uno tieneuna cierta probabilidad de convertirse o no en electrón (probabilidad que viene dada por q). Enotras palabras, no podemos decir que, de manera exacta, el número de electrones es q Nγ , sinoque esta relación sólo se verifica para los valores medios, es decir

µe = q µγ .

En realidad hay que partir del número de fotones recibidos y convertirlos en electrones de unamanera más real (que no es multiplicando por la eficacia cuántica). La verdadera simulaciónes tomar cada uno de los fotones y, con una probabilidad q, transformarlos o no en electrones(siguiendo un proceso probabilístico). Esto añade más dispersión al resultado.



Incertidumbre (σe) en el número de electrones generados en un pixel por efecto del ruido fotónico,en función del número de exposiciones N realizadas. Se ha supuesto µγ = 100, con una efica-cia cuántica q = 0.3. Para el conjunto de N exposiciones se obtiene el número promedio deelectrones/pixel y su desviación típica. Si el número de electrones fuera exactamente igual a laeficacia cuántica por el número de fotones/pixel recibidos, obtendríamos σe =

√q Ne = 3 e−

(línea de puntos), lo cual es erróneo. En la simulaciones se ha transformado cada uno de losfotones en electrones siguiendo un proceso probabilístico dependiente de q. Así, para N = 250exposiciones, el número promedio de electrones en la simulación (caso particular) es 30.26 (valoresperado 30.00), mientras que el error medido es σe = 5.68 (el valor poissoniano esperado es√

0.3× 100 � 5.48 —línea de trazos—).Tema 3: Cálculo de errores (♣) Análisis de datos y Estadística Avanzada 23Curso 2010/2011 23 / 78


Sea p(xe; µγ , q) la probabilidad de que se generen xe electrones en un pixel, cuando el númeropromedio de fotones incidentes por pixel es µγ , y la eficacia cuántica es q

p(xe; µγ , q) =∞X

xγ=xe

p(xγ ; µγ) b(xe; xγ , q),

donde p(xγ ; µγ) es la probabilidad de recibir xγ fotones cuando la incidencia media es de µγ

fotones (que viene dada por una distribución de Poisson), y b(xe; xγ , q) es la probabilidad deobtener xe electrones cuando el número de fotones es xγ y la probabilidad de que cada fotón seconvierta en un electrón es q (que sigue una distribución binomial). El sumatorio se extiende entodos los casos en los que xγ ≥ xe, imprescindible para obtener, al menos, xe electrones.El número promedio de electrones se calcula entonces como

µe =∞X

xe=0

xe p(xe; µγ , q) =∞X

xe=1

8<

:xe

∞X

xγ=xe

"µ

xγγ

xγ !e−µγ

xγ !

xe! (xγ − xe)!qxe (1− q)xγ − xe

#9=

; =

= µγ q

∞X

xe=1

8<

:(q µγ)xe − 1

(xe − 1)!e−µγ

∞X

xγ=xe

"[µγ(1− q)]xγ − xe

(xγ − xe)!

#9=

; .

Haciendo w ≡ xγ − xe, v ≡ xe − 1, y sabiendo queP∞

w=0 xw/w! = ex, y que

P∞v=0 λv/v! e−λ = 1,

µe = µγ q

∞X

v=0

((q µγ)v

v!e−µγ

∞X

w=0

»[µγ (1− q)]w

w!

–)= µγ q

∞X

v=0

(q µγ)v

v!e−qµγ

ff= µγ q.



De forma análoga se deriva el valor de la varianza

σ2e =

∞X

xe=0

nx

2e p(xe; µγ , q)

o− µ2

e . (4)

Desarrollando el sumatorio de la última expresión se obtiene

∞X

xe=0

x2e p(xe; µγ , q) = µγ q

∞X

xe=1

8<

:xe (µγ q)xe − 1

(xe − 1)!e−µγ

∞X

xγ=xe

"[µγ (1− q)]xγ − xe

(xγ − xe)!

#9=

; ,

donde el sumatorio de la derecha vuelve a ser el desarrollo en serie de la función exponencial.Sumando y restado 1 a xe en el numerador de la primera fracción,

∞X

xe=0

x2e p(xe; µγ , q) = µγ q

∞X

xe=1

(xe − 1 + 1) (µγ q)xe − 1

(xe − 1)!e−µγ q =

= µγ q

0

@µγ q

∞X

xe=2

((µγ q)xe − 2

(xe − 2)!e−µγ q

)+∞X

xe=1

((µγ q)xe − 1

(xe − 1)!e−µγ q

)1

A =

= µγ q (µγ q + 1),

por lo que, recordando que µe = µγ q, finalmente se obtiene

σ2e = µγ q (µγ q + 1)− µ2

e = µγ q = µe.


Incertidumbres aleatorias Propagación de incertidumbres

Esquema






¿Cómo propagar incertidumbres en la reducción?Podemos utilizar distintos métodos:

a) Comparación de medidas repetidas independientes.b) Utilización de primeros principios y fuerza bruta.c) Utilización de primeros principios y elegancia: tratamiento

paralelo de datos e incertidumbres.



a) Comparación de medidas repetidas independientes1 Se realizan varias medidas independientes.2 Se reducen siguiendo el mismo procesado.3 Se estudian las diferencias entre las medidas reducidas.




b) Primeros principios y fuerza bruta1 Se parte de una única observación, pero usando

primeros principios deducimos sus incertidumbresasociadas.

2 Se generan datos sintéticos mediante Monte Carlo.3 Se continúa siguiendo los pasos del método a).


¿Cómo generar incertidumbres a partir de primeros principios?

Consideremos una imagen bidimensional A[i, j], donde i, j indica número de pixel en cadaeje.En cada pixel se mide un número de cuentas (ADU, del inglés Analogic to Digital Unit), quese relaciona con el número de (foto)electrones Ne[i, j] generados en cada pixel mediante

A[i, j] =Ne[i, j]

g,

donde g es la ganancia del detector (en e−/ADU).Supongamos que hemos determinado con precisión la ganancia g del detector (ene−/ADU) y el ruido de lectura en cada pixel sRN (en ADU). Normalmente se podráconsiderar que g y sRN son constantes en el detector, aunque en el caso ideal podríamosconocer sus valores en cada pixel.Como los electrones siguen una estadística de Poisson (ya lo vimos antes), laincertidumbre (desviación típica) en cada pixel (en número de cuentas) será

∆A[i, j]fotones =1g∆Ne[i, j] =

1g

pNe[i, j] =

1g

pg A[i, j] =

s1g

A[i, j].

Si ahora consideramos también la contribución del ruido de lectura, en cada pixeltendremos la siguiente varianza

(∆A[i, j])2 =1g

A[i, j] + s2RN.








¿Cómo se generan datos sintéticos mediante Monte Carlo?

Partimos de una imagen de datos A[i, j] y otra de incertidumbres ∆A[i, j] (desviacionestípicas).Generamos nuevas imágenes sintéticas A mediante

A[i, j] = A[i, j] +R[i, j],

donde R[i, j] es ruido generado de forma aleatoria siguiendo una determinada distribuciónde probabilidad, que será función de ∆A[i, j].Por ejemplo, si asumimos que las incertidumbres en un pixel siguen una distribuciónnormal y ∆A[i, j] es la desviación típica, podemos generar el ruido utilizando la expresión

R[i, j] =√

2×∆A[i, j]p−ln(1− ξ1) cos(2 π ξ2),

donde ξ1 y ξ2 son dos números aleatorios en el intervalo ξ1, ξ2 ∈ [0, 1). Vamos a ver en unmomento cómo se deriva esta expresión.Si las incertidumbres no son gaussianas, habrá que generar R[i, j] siguiendo ladistribución correspondiente.



¿Cómo se simulan datos con una determinada distribución de probabilidad?

Problema a resolver: Dada una distribución de probabilidad (o función de densidad)unidimensional f (x), donde el recorrido de la variable independiente es x ∈ (−∞,∞),queremos obtener una función X (z), donde z es un número aleatorio en el intervaloξ ∈ (0, 1), que para una secuencia de números aleatorios ξ1, ξ2, ..., ξNsimul nos proporcioneotra secuencia de valores X (ξ1),X (ξ2), ...,X (ξNsimul ) que reproduzca la distribución inicialf (x).Podemos definir

ξ ≡Z

xmax

−∞f (x) dx.

Por las propiedades de la función de densidad, si xmax ∈ (−∞,∞) entonces ξ ∈ (0, 1).Con esta definición ξ es la función de distribución.Si f (x) puede integrarse analíticamente, podemos resolver la integral anterior y despejarxmax en función de ξ. Para un valor concreto de ξ tendremos entonces el valor de xmaxhasta el cual deberíamos haber extendido la integral de la distribución de probabilidadpara obtener precisamente dicho valor de ξ. Esto significa que si generamos diversosvalores de ξ de forma aleatoria, los distintos valores de xmax(ξ) reproducirán la función dedensidad f (x). En otras palabras, xmax(ξ) es la función X (ξ) que buscábamos.En el caso de distribuciones de probabilidad discretas (binomial, Poisson,. . . ) el método esel mismo. Se generan números aleatorios ξ y se determina el valor de la variable aleatoriacuya función de distribución (o función de probabilidad acumulada) es precisamente ξ.Veamos un ejemplo. . .



Aplicación de la técnica anterior para generar ruido gaussiano

Desgraciadamente la función gaussiana unidimensional, f (x) ∝ exp[−x2/(2σ2)], no puede inte-

grarse analíticamente. Para evitar este problema, vamos a trabajar con una función gaussiana endos dimensiones, es decir

Z Z1

2πσ2 exp„−

x2 + y

2

2σ2

«dx dy =

1σ2

Zr exp

„−

r2

2σ2

«dr.

donde hemos considerado σx = σy = σ, y hemos sustituido r2 = x

2 + y2. Aplicando el método

explicado anteriormente

ξ ≡1σ2

Zrmax

0r exp

„−

r2

2σ2

«dr = 1− exp

„−r

2max

2σ2

«.

Por tanto, despejando rmax,rmax =

√2 σ

p− ln(1− ξ).

Finalmente, podemos reproducir una secuencia de números siguiendo una distribución de proba-bilidad gaussiana si proyectamos en una dimensión (sobre el eje x por ejemplo) y aleatoriamentelos valores obtenidos para rmax(z).La función que utilizaremos para generar ruido gaussiano tiene entonces la forma

R(σ) =√

2 σp− ln(1− ξ1) cos(2πξ2),

donde ξ1 y ξ2 son dos números aleatorios ξ1, ξ2 ∈ [0, 1).








c) Tratamiento paralelo de datos e incertidumbres1 Se parte de una única observación, pero usando primeros principios deducimos sus

incertidumbres asociadas.2 Se procesan en paralelo los datos e incertidumbres (usando la ley de propagación de

incertidumbres).3 Se genera un resultado final con incertidumbres asociadas.



¿Cómo propagar incertidumbres en la reducción?Podemos utilizar distintos métodos:

a) Comparación de medidas repetidas independientes.Desventaja: muy costoso en tiempo de observación (no siempre esposible repetir observaciones).

b) Utilización de primeros principios y fuerza bruta.Desventaja: muy costoso en tiempo de cálculo (el procesado de lainformación puede requerir mucho recursos: tiempo, memoria,. . . ).

c) Utilización de primeros principios y elegancia: tratamientoparalelo de datos e incertidumbres.

Desventaja: no siempre se puede aplicar la ley de propagación deincertidumbres (problema de correlación de errores).



Ejemplo de correlación de erroresVeamos un ejemplo de aparición de correlación de errores durante el proceso de recentrado dela señal en un pixel.



Ejemplo de correlación de erroresTras “desplazar” (remuestrear) la señal fracciones de píxel, tanto la propia señal como los erroresaleatorios asociados se distribuyen entre los pixels vecinos. Hasta aquí todo se calcula de manerasencilla, aunque a partir de este momento los errores ya están correlacionados.



Ejemplo de correlación de erroresAl haber introducido correlación entre los errores, si no se tienen en cuenta las covarianzas, laestimación de la incertidumbre en la estimación del flujo total es errónea. El efecto del recentradoes filtrar la imagen y, aparentemente, se reduce el ruido.¡Pero es falso!



El problema del aliasing en los espectros




Diferentes aproximaciones polinómicas a ladistribución de la señal.

(a): corrección lineal.

(b): polinomio de segundo gradoconservando la señal en cada pixel yen los dos adyacentes.

(c): polinomio de segundo gradoconservando la señal en el pixelcentral e imponiendo continuidad.

(d): polinomio de segundo gradoconservando la señal en el pixelcentral e imponiendo derivadascontinuas.






¿Cómo evitar la introducción de correlaciones?

Durante el tratamiento de los datos, separar entre los filtros (pasos de la reducción) queno introducen correlación (filtros sencillos) de aquellos que sí lo hacen (filtros complejos).No ejecutar los filtros complejos, sino simplemente caracterizar las operaciones de suprocesado⇒ las imágenes no se reducen completamente.


(Ver más detalles en Cardiel et al. 2003)



Realizar la reducción in situ, sin rectificar las imágenes.




La herramienta de análisis puede transformarse para poder utilizar las caracterizacionesde los filtros complejos, y completar la reducción en tiempo real, en el momento de medir.


Incertidumbres aleatorias Incertidumbres en la medida de índices

Esquema






Propagación de incertidumbres en la medida de índices

Si tenemos una estimación de las incertidumbres en cada píxel de un espectro tras lareducción de los datos, podemos estimar las incertidumbres en los índices de intensidadde líneas utilizando la ley de propagación de incertidumbres.



Índices atómicos

Ia � Wλ(Å) =

Z

line(1− S(λ)/C(λ)) dλ

Índices moleculares

I(mag) = −2.5 log10

1− Wλ(Å)

∆λ

!

Discontinuidades (pseudocolores): por ejemplo D4000

D4000 ≡R 4250

4050 S(ν) dλR 3950

3750 S(ν) dλ



Un ejemplo: medida del índice Mg2Aunque los errores en los pixels no estén correlacionados, al sustraer un mismo continuo a todos los pixels de la banda centralaparece correlación (ver detalles en Cardiel et al. 1998).

σ2[Ia]

Θ2=

NpixelsX

i=1

2

4C

2(λi) σ2(λi) + S2(λi) σ2

C(λi)

C4(λi)

3

5 +

NpixelsX

i=1

NpixelsX

j=1,j�=i

"S(λi) S(λj)

C2(λi) C2(λj)

“Λ1 σ2

Sb

+ Λ4 σ2Sr

”#



Un ejemplo: medida del índice Mg2

Si no tenemos en cuenta la correlación entre los pixels, las estimaciones de las incertidumbresson erróneas. Por ejemplo, comparemos las predicciones obtenidas al ignorar (izquierda) yconsiderar (derecha) la correlación entre pixels en la medida de un gradiente de Mg2 en unagalaxia (triángulos abiertos).



¡Podemos estimar incertidumbres en los índices!Dada una relación señal/ruido, en principio es posible obtener una estimación aproximada de lasincertidumbres que debemos esperar en la medida de índices de intensidad de líneas.


Incertidumbres aleatorias Incertidumbres en la medida de índicesIndex Name Central Bandpass (Å) Continuum Bandpasses (Å) ci

Atomic Indices c1 c2

Ca4227 4222.250–4234.750 4211.000–4219.750 4.604 0.36844241.000–4251.000

G4300 4281.375–4316.375 4266.375–4282.625 8.537 0.24394318.875–4335.125

Fe4383 4369.125–4420.375 4359.125–4370.375 13.220 0.25804442.875–4455.375

Ca4455 4452.125–4474.625 4445.875–4454.625 7.038 0.31284477.125–4492.125

Fe4531 4514.250–4559.250 4504.250–4514.250 11.299 0.25114560.500–4579.250

Fe4668 4634.000–4720.250 4611.500–4630.250 17.757 0.20594742.750–4756.500

Hβ 4847.875–4876.625 4827.875–4847.875 7.301 0.25394876.625–4891.625

Fe5015 4977.750–5054.000 4946.500–4977.750 16.455 0.21585054.000–5065.250

Mgb 5160.125–5192.625 5142.625–5161.375 8.032 0.24725191.375–5206.375

Fe5270 5245.650–5285.650 5233.150–5248.150 9.250 0.23135285.650–5318.150

Fe5335 5312.125–5352.125 5304.625–5315.875 10.741 0.26855353.375–5363.375

Fe5406 5387.500–5415.000 5376.250–5387.500 7.256 0.28935415.000–5425.000

Fe5709 5696.625–5720.375 5672.875–5696.625 6.362 0.26795722.875–5736.625

Fe5782 5776.625–5796.625 5765.375–5775.375 6.134 0.30675797.875–5811.625

NaD 5876.875–5909.375 5860.625–5875.625 8.113 0.24965922.125–5948.125

Ca1 8483.000–8513.000 8447.500–8462.500 8.852 0.29518842.500–8857.500

Ca2 8527.000–8557.000 8447.500–8462.500 8.330 0.27778842.500–8857.500

Ca3 8647.000–8677.000 8447.500–8462.500 7.750 0.25838842.500–8857.500

Molecular Indices c3

CN1 4142.125–4177.125 4080.125–4117.625 0.22414244.125–4284.125

CN2 4142.125–4177.125 4083.875–4096.375 0.26914244.125–4284.125

Mg1 5069.125–5134.125 4895.125–4957.625 0.16625301.125–5366.125

Mg2 5154.125–5196.625 4895.125–4957.625 0.19335301.125–5366.125

TiO1 5936.625–5994.125 5816.625–5849.125 0.18246038.625–6103.625

TiO2 6189.625–6272.125 6066.625–6141.625 0.15686372.625–6415.125

σ[Ia] ≈c1 − c2Ia

SN(Å)

SN(Å) =1

N

√Θ

NX

i=1

S(λi)

σ(λi)

c1 ≡ ∆λc c2

c2 ≡

vuut 1

∆λc

+

λr − λc

λr − λb

!2 1

∆λb

+

λc − λb

λr − λb

!2 1

∆λr

c1|z = (1 + z)1/2c1|z=0 ,

c2|z = (1 + z)−1/2c2|z=0 ,

σ[Im] ≈c3

SN(Å)

c3 ≡ 2.5 c2 log10 e

σ[D4000] ≈D4000√

200

vuut 1

SN(Å)2b

+1

SN(Å)2r




Índices genéricosAlgunas veces los índices clásicos no son adecua-dos para extraer información en regiones espec-trales con líneas múltiples. Una solución son losíndices genéricos (ver Cenarro et al. 2001).


Ia(Å) ≡Nf�

k=1

�ξ(k)

� λc2 (k)

λc1 (k)[1− S(λ)/C(λ)] dλ

��

σ(Ia)

Θ

�2

�Nf�

l=1

N(l)�

i=1

�ξ2(l)

C2(λl,i) σ2[S(λl,i)] + S

2(λl,i) σ2[C(λl,i)]

C4(λl,i)

�+

+Nf�

l=1

N(l)�

i=1

Nf�

m=1

N(m)�

j=1

�ξ(l) ξ(m)

S(λl,i) S(λm,j)

C2(λl,i) C2(λm,j)× cov(C(λl,i), C(λm,j))

�

C(λk,i) = α1 + α2 λk,i α1 = 1∆ {Σ3 Σ4 − Σ2 Σ5} α2 = 1

∆ {Σ1 Σ5 − Σ2 Σ4} ∆ = Σ1 Σ3 − Σ2 Σ2

Σ1 ≡Nc�

n=1

M(n)�

h=1

1σ2[S(λn,h)]

Σ2 ≡Nc�

n=1

M(n)�

h=1

λn,h

σ2[S(λn,h)]Σ3 ≡

Nc�

n=1

M(n)�

h=1

λ2n,h


Nc�

n=1

M(n)�

h=1

S(λn,h)


Nc�

n=1

M(n)�

h=1

λn,h S(λn,h)

σ2[S(λn,h)]

σ2[C(λk,i)] =Nc�

l=1

M(l)�

r=1

�∂C(λk,i)

∂S(λl,r)

�2

σ2[S(λl,r)]cov(C(λk,i), C(λm,j)) = �C(λk,i) C(λm,j)� − �C(λk,i)� �C(λm,j)� =

= [�α1α1� − �α1��α1�] + [�α1α2� − �α1��α2�] (λk,i + λm,j) + [�α2α2� − �α2��α2�] λk,i λm,j

∂C(λk,i)

∂S(λl,r)=

1∆

�1

σ2[S(λl,r)]Σ3 −

λl,r

σ2[S(λl,r)]Σ2

�+

λk,i

∆

�λl,r

σ2[S(λl,r)]Σ1 −

1σ2[S(λl,r)]

Σ2

�

�α1α1� − �α1��α1� = 1∆2 [Σ1 Σ3 Σ3 − Σ2 Σ2 Σ3]

�α1α2� − �α1��α2� = 1∆2 [Σ2 Σ2 Σ2 − Σ1 Σ2 Σ3]

�α2α2� − �α2��α2� = 1∆2 [Σ1 Σ1 Σ3 − Σ1 Σ2 Σ2]



¡También podemos estimar incertidumbres en los índices genéricos!

σ[Ia]z �c1|z − c2|z Ia|z

SN(Å)=

= (1 + z)1/2 c1|z=0 − c2|z=0 Ia|z=0

SN(Å)

σ[CaT(Å)] � 18.09− 0.1751 CaTSN(Å)

σ[PaT(Å)] � 14.27− 0.1463 PaTSN(Å)

σ[CaT∗(Å)] � 16.43− 0.1052 CaT∗

SN(Å)



Discontinuidades genéricasMás recientemente también se han definido una discontinuidades genéricas (verMármol-Queraltó et al., 2008).

Dgeneric ≡

ncX

i=1

1

λc,i2 − λc,i1

Z λc,i2

λc,i1

Fc,i (λ) dλ

naX

i=1

1

λa,i2 − λa,i1

Z λa,i2

λa,i1

Fa,i (λ) dλ

σ2[Dgeneric] =F2

cσ2Fa

+ F2aσ2Fc

F4a

Fx ≡ ΘnxX

i=1

Ni

pixelsX

k=1Fx,i (λk)

σ2Fx

= Θ2nxX

i=1

Ni

pixelsX

k=1σ2

Fx,i(λk)



Discontinuidades genéricasMás recientemente también se han definido una discontinuidades genéricas (verMármol-Queraltó et al., 2008).

εr =c

SN(Å)

Index c

COmagKH 0.7537

IPuxley 2.0258IFrogel 0.8123DFrogel 0.1075DCO 0.1198


Incertidumbres aleatorias Incertidumbres en los parámetros físicos

Esquema






Una vez realizadas las medidas espectroscópicas (e.g., índices de intensidad delíneas), deseamos interpretar dichas medidas en términos de parámetros físicos re-levantes, como edad, composición química,. . . .



El último paso: la determinación de parámetros físicosVeamos cómo influyen las incertidumbres en los índices medidos ∆mi en las incer-tidumbres ∆pj de los parámetros físicos (por ejemplo edad, metalicidad, IMF, etc.; verdetalles en Cardiel et al. 2003).

∆mi �nX

j=1aij ∆pj ; ∆pj �

nX

i=1bji ∆mi

VM =2 [π χ2

n(α)]n/2

n Γ(n/2)

nY

i=1σ(mi)

VP = | det(B)|2 [π χ2

n(α)]n/2

n Γ(n/2)

nY

i=1

c(mi)

SN(Å)i

= κ φ(α, n)nY

i=1

1

SN(Å)i

φ(α, n) ≡2 [π χ2

n(α)]n/2

n Γ(n/2)

κ ≡ | det(B)|nY

i=1c(mi) =

1

| det(A)|| {z }

sensibilidad a ladegeneración

de los parámetrosfísicos

×nY

i=1c(mi)

| {z }sensibilidad

de los índicesa la SN(Å)

⇒ VP ∝ κnY

i=1

1

SN(Å)i




∆mi �nX


nX

i=1bji ∆mi

VM =2 [π χ2

n(α)]n/2

n Γ(n/2)

nY

i=1σ(mi)

VP = | det(B)|2 [π χ2

n(α)]n/2

n Γ(n/2)

nY

i=1

c(mi)

SN(Å)i

= κ φ(α, n)nY

i=1

1

SN(Å)i

φ(α, n) ≡2 [π χ2

n(α)]n/2

n Γ(n/2)

κ ≡ | det(B)|nY

i=1c(mi) =

1

| det(A)|| {z }



×nY

i=1c(mi)

| {z }sensibilidad


⇒ VP ∝ κnY

i=1

1

SN(Å)i




∆mi �nX


nX

i=1bji ∆mi

VM =2 [π χ2

n(α)]n/2

n Γ(n/2)

nY

i=1σ(mi)

VP = | det(B)|2 [π χ2

n(α)]n/2

n Γ(n/2)

nY

i=1

c(mi)

SN(Å)i

= κ φ(α, n)nY

i=1

1

SN(Å)i

φ(α, n) ≡2 [π χ2

n(α)]n/2

n Γ(n/2)

κ ≡ | det(B)|nY

i=1c(mi) =

1

| det(A)|| {z }



×nY

i=1c(mi)

| {z }sensibilidad


⇒ VP ∝ κnY

i=1

1

SN(Å)i




∆mi �nX


nX

i=1bji ∆mi

VM =2 [π χ2

n(α)]n/2

n Γ(n/2)

nY

i=1σ(mi)

VP = | det(B)|2 [π χ2

n(α)]n/2

n Γ(n/2)

nY

i=1

c(mi)

SN(Å)i

= κ φ(α, n)nY

i=1

1

SN(Å)i

φ(α, n) ≡2 [π χ2

n(α)]n/2

n Γ(n/2)

κ ≡ | det(B)|nY

i=1c(mi) =

1

| det(A)|| {z }



×nY

i=1c(mi)

| {z }sensibilidad


⇒ VP ∝ κnY

i=1

1

SN(Å)i




∆mi �nX


nX

i=1bji ∆mi

VM =2 [π χ2

n(α)]n/2

n Γ(n/2)

nY

i=1σ(mi)

VP = | det(B)|2 [π χ2

n(α)]n/2

n Γ(n/2)

nY

i=1

c(mi)

SN(Å)i

= κ φ(α, n)nY

i=1

1

SN(Å)i

φ(α, n) ≡2 [π χ2

n(α)]n/2

n Γ(n/2)

κ ≡ | det(B)|nY

i=1c(mi) =

1

| det(A)|| {z }



×nY

i=1c(mi)

| {z }sensibilidad


⇒ VP ∝ κnY

i=1

1

SN(Å)i



¡La mejor opción no es necesariamente la combinación de índices con prediccionesmás ortogonales!



Incluso dentro de un mismo diagrama, las incertidumbres dependen de la posición enel espacio de parámetros físicos.



Cuando las incertidumbres están correlacionadas, no tiene demasiado sentidoparametrizar las incertidumbres utilizando la desviación típica.


Incertidumbres aleatorias ¿Y cuando sólo tenemos los datos?

Esquema






¡Siempre se puede hacer algo!¿Qué hacer cuando ni siquiera es posible realizar simulaciones de Monte Carlo paragenerar muestras sintéticas a partir de primeros principios?

Supongamos que nuestra muestra está formada por N valores Ai

independientes e indénticamente distribuidos, por lo que el orden secuencial dedichos valores no es consecuencia del proceso que seguimos para su obtención(Ai tiene la misma probabilidad de aparecer en cualquier posición entre 1 y N).

Vamos a asumir que dichos datos contienen la información necesaria paraconsiderarlos como si fueran toda una población. Entonces podemos generarmuestras sinéticas (en lugar de datos sintéticos como hacíamos antes) a partirde ellos.

Veamos dos métodos comúnmente utilizadosJackknife

Bootstrap



Jackknife1

Este método consiste en generar, a partir de muestras de N elementos, N submuestras de N − 1elementos, eliminando en cada una de estas submuestras secundarias un elemento (podemoshacerlo de forma consecutiva, eliminando el primer elemento en la primera muestra, el segundoen la segunda muestra, y así sucesivamente.

Bootstrap2

Es una generalización del método anterior, en el cual se generan muestras secundarias de N

elementos, seleccionando los elementos de forma aleatoria a partir de la muestra original, peropermitiendo repetir valores. De esta forma, una fracción aleatoria de los valores iniciales apare-cerán duplicados (∼ 1/e � 37%).

⇒ Estos métodos no dan información a partir de la nada. Nos dan información que de-sconocíamos previamente (ver Press et al. 2002).

1 Podemos traducirlo como pequeña navaja o navaja de bolsillo.2 El nombre se debe a la aparente capacidad del método de conseguir algo aparentemente imposible (sacar de donde no hay).En Las increíbles aventuras del Barón Munchhausen, Rudolph Erich Raspe cuenta que en cierta ocasión el Barón logró escaparde una muerte segura al salir volando tirando de los cordones de sus propias botas (en inglés “[. . . ] he thought to pull himself upby his own bootstraps”).


Efectos sistemáticos Algunas fuentes

Esquema





Efectos sistemáticos Algunas fuentes

Ejemplos de fuentes listados en la GUMDefinición incompleta de la magnitud a medir.

Imposibilidad de medir la magnitud definida.

Obtención de muestras no representativas.

Conocimiento incompleto de los factores ambientales que afectan a las medidas.

Sesgos personales en la lectura de medidas analógicas.

Resolución finita de los instrumentos de medida.

Valores inexactos de las magnitudes de referencia.

Valores inexactos de constantes y otros parámetros obtenidos de fuentesexternas y empleados en la reducción de los datos.

Aproximaciones y asunciones empleadas durante la toma de datos y sumanipulación posterior.

. . .Recordemos: la incertidumbre de una corrección realizada sobre una medida para compensar de un efecto sistemático no es elerror sistemático en el resultado de la medida debido a dicho efecto. Se trata más bien de una medida de la incertidumbre delresultado debido a un conocimiento incompleto del valor de la corrección.⇒ Debemos evitar utilizar la expresión “incertidumbre sistemática” (puede ser confusa).


Efectos sistemáticos Tratamiento

Esquema






¿Se puede hacer algo?

Sí. ¡Evitarlos!

Algunos efectos sistemáticos pueden descubrirse tras el análisiscuidadoso del experimento o proceso de medida antes de su ejecución.

— Pueden corregirse realizando las correcciones adecuadas omodificando el diseño experimental.

Los restantes efectos sistemáticos pueden ser muy difíciles dereconocer, y serán detectables con cierta garantía después, sólocuando puedan compararse medidas realizadas a través de dos o másexperimentos independientes.

— En estos casos es posible utilizar la inferencia bayesiana.



¿Se puede hacer algo?

Sí. ¡Evitarlos!

Algunos efectos sistemáticos pueden descubrirse tras el análisiscuidadoso del experimento o proceso de medida antes de su ejecución.

— Pueden corregirse realizando las correcciones adecuadas omodificando el diseño experimental.

Los restantes efectos sistemáticos pueden ser muy difíciles dereconocer, y serán detectables con cierta garantía después, sólocuando puedan compararse medidas realizadas a través de dos o másexperimentos independientes.

— En estos casos es posible utilizar la inferencia bayesiana.



¡La inferencia bayesiana al rescate!

Una de las características de las técnicas bayesianas es su capacidadde incorporar información inicial (prior) y estudiar cómo afecta anuestras conclusiones.

Un efecto sistemático puede introducirse como un nuevo parámetro enel estudio, y tratarlo como un nuisance parameter (parámetroirrelevante) e integrar sobre él (marginalizar). Si la incertidumbre debidaal efecto sistemático es muy grande, ello se reflejará en nuestrainferencia final.


Efectos sistemáticos Un ejemplo astronómico

Esquema






Ley de Hubble: v = H0 x

Determinar la distribución de probabilidad posterior para la distancia x a una galaxia cuya ve-locidad de recesión es vg = (100 ± 5)× 103 km s−1, asumiendo H0 = 70 km s−1 Mpc−1 y en lassiguientes cuatro situaciones:

1 Para un valor fijo de H0 = 70 km s−1 Mpc−1, es decir, p(H0|I) = δ(H − H0).2 Para un valor de H0 con una icertidumbre dada por una distribución de probabilidad

gaussiana

p(H0|I) = k exp−

(H0 − 70)2

2× 102

ff.

3 Asumiendo una distribución de probabilidad uniforme para H0

p(H0|I) =

1/(90− 50), para 50 ≤ H0 ≤ 900, en otro caso.

4 Asumiendo una distribución de probabilidad de Jeffreys (igual probabilidad por década—invarianza de escala—)

p(H0|I) =

[H0 ln(90/50)]−1, para 50 ≤ H0 ≤ 900, en otro caso.

Considerar que la velocidad de recesión medida es vg = vreal + �, donde � es la incertidumbre,admitiendo que � sigue una distribución N(µ = 0, σ = 5). Suponer además que la incertidumbreen la velocidad no está correlacionada con la incertidumbre en H0.




Calculamos la PDF posterior para x marginalizando el parámetro H0

p(x|D, I) =

Z ∞

−∞p(x, H0|D, I) dH0.

Usando el Teorema de Bayes

p(x|D, I) ∝ p(x|I)Z ∞

−∞p(H0|x, I) p(D|x, H0, I) dH0.

Asumiendo que H0 y x son independientes

p(x|D, I) ∝ p(x|I)Z ∞

−∞p(H0|I) p(D|x, H0, I) dH0.

En este caso, I incluye la información relevante a nuestro conocimiento sobre H0, que, para loscasos propuestos, tiene una PDF que sigue 1) una delta de Dirac, 2) una gaussiana, 3) unafunción uniforme y 4) una función de Jeffreys.




1 H0 constante

p(x|D, I) ∝ p(x|I)1

√2πσ

exp−

(vg − H0 x)2

2σ2

ff.

2 PDF de H0 gaussiana

p(x|D, I) ∝ p(x|I)Z ∞

−∞k exp

−

(H0 − 70)2

2× 102

ff×

1√

2πσexp

−

(vg − H0 x)2

2σ2

ffdH0.

3 PDF de H0 uniforme

p(x|D, I) ∝ p(x|I)Z 90

50

1(90− 50)

×1

√2πσ

exp−

(vg − H0 x)2

2σ2

ffdH0.

4 PDF de H0 siguiendo una función de Jeffreys

p(x|D, I) ∝ p(x|I)Z 90

50

1H0 ln(90/50)

×1

√2πσ

exp−

(vg − H0 x)2

2σ2

ffdH0.




Resultado asumiendo un prior uniforme p(x|I)

Las consecuencias de introducir incertidumbre en H0 son: i) la PDF posterior para la galaxia es más ancha y ii) la media de la PDFse desplaza a valores más altos (las medias son 1429, 1486, 1512 y 1556 km s−1, respectivamente), es decir, la PDF posteriores asimétrica.



ReferenciasCardiel N., Gorgas J., Cenarro J., González, J.J., Reliable random error estimation in themeasurement of line-strength indices, 1998, A&AS 127, 597Cardiel N., Gorgas J., Gallego J., et al., Proper handling of random errors and distortions inastronomical data analysis, 2002, SPIE, 4847, 297Cardiel N., Gorgas J., Sánchez-Blázquez P., et al., Using spectroscopic data todisentangle stellar population properties, 2003, A&A, 409, 511Cenarro A.J., Cardiel N., Gorgas J., et al., Empirical calibration of the near-infrared Ca IItriplet - I. The stellar library and index definition, 2001, MNRAS, 326, 959D’Agostini G., Probability and Measurement Uncertainty in Physics, 1995,arXiv:hep-ph/9512295v2Gregory P.C., Bayesian Logical Data Analysis for the Physical Sciences, 2005, CambridgeUniversity PressInternatinal Organization for Standardization (ISO), Guide to the expression of uncertaintyin measurement, 1993, Geneva, SwitzerlandMármol-Queraltó E., Cardiel N., Cenarro A.J., et al., 2008, A&A, en prensaPress W.H., et al., Numerical Recipes in Fortran 77, 2002, Cambridge University PressTrager S.C., Faber S.M., Worthey G., González J.J., 2000a, AJ, 119, 1645


Análisis de datos y Estadística Avanzada -...

Documents

Transcript of Análisis de datos y Estadística Avanzada -...