Cap´ıtulo 1 Convergencia - … · Las sucesiones de variables aleatorias estar´an definidas en...

21
Cap´ ıtulo 1 Convergencia 1.1 Introducci´ on En este cap´ ıtulo estudiaremos el comportamiento asint´ otico de sucesiones de variables aleatorias, daremos distintas definiciones de convergencia y de- mostraremos dos de los Teoremas m´ as importantes de la Teor´ ıa de Probabil- idad, de hecho los dos resultados que podr´ ıamos decir le dieron vida a esta ´ area del conocimiento. Antes de estudiar las distintos modos de convergencia, es importante preguntarse de d´ onde surgen estos resultados? cu´ al es la motivaci´ on para el estudio del comportamiento en el l´ ımite de sucesiones de variables aleatorias. Desde la prehistoria de la Probabilidad, se ha deseado dar una inter- pretaci´ on a la Probabilidad, intuitivamente, se consideraba que la probabil- idad de un evento era algo as´ ı como un l´ ımite de frecuencias relativas (de hecho la escuela frecuentista la define as´ ı), es decir si A es un evento P [A] n A n donde n A es el n´ umero de veces que ha ocurrido el evento A en n ensayos independientes del mismo experimento. A esta propiedad se le llam´ o (como lo hemos ya mencionado en ??) Regu- laridad Estad´ ıstica. A´ un cuando ya hemos visto que esta definici´ on frecuen- tista de la Probabilidad no tiene sentido, ser´ ıa importante saber si desde el punto de vista del Modelo Axiom´ atico de la Probabilidad existe una Ley emanada de sus axiomas que sea la contraparte te´ orica de la regularidad estad´ ıstica. 1

Transcript of Cap´ıtulo 1 Convergencia - … · Las sucesiones de variables aleatorias estar´an definidas en...

Page 1: Cap´ıtulo 1 Convergencia - … · Las sucesiones de variables aleatorias estar´an definidas en este espacio. Definici´on 1.1 Convergencia Puntual. Una sucesi´on de variables

Capıtulo 1

Convergencia

1.1 Introduccion

En este capıtulo estudiaremos el comportamiento asintotico de sucesionesde variables aleatorias, daremos distintas definiciones de convergencia y de-mostraremos dos de los Teoremas mas importantes de la Teorıa de Probabil-idad, de hecho los dos resultados que podrıamos decir le dieron vida a estaarea del conocimiento.

Antes de estudiar las distintos modos de convergencia, es importantepreguntarse de donde surgen estos resultados? cual es la motivacion para elestudio del comportamiento en el lımite de sucesiones de variables aleatorias.

Desde la prehistoria de la Probabilidad, se ha deseado dar una inter-pretacion a la Probabilidad, intuitivamente, se consideraba que la probabil-idad de un evento era algo ası como un lımite de frecuencias relativas (dehecho la escuela frecuentista la define ası), es decir si A es un evento

P [A] ≈ nA

n

donde nA es el numero de veces que ha ocurrido el evento A en n ensayosindependientes del mismo experimento.

A esta propiedad se le llamo (como lo hemos ya mencionado en ??) Regu-laridad Estadıstica. Aun cuando ya hemos visto que esta definicion frecuen-tista de la Probabilidad no tiene sentido, serıa importante saber si desde elpunto de vista del Modelo Axiomatico de la Probabilidad existe una Leyemanada de sus axiomas que sea la contraparte teorica de la regularidadestadıstica.

1

Page 2: Cap´ıtulo 1 Convergencia - … · Las sucesiones de variables aleatorias estar´an definidas en este espacio. Definici´on 1.1 Convergencia Puntual. Una sucesi´on de variables

2 CAPITULO 1. CONVERGENCIA

Esta Ley conocida como La Ley de los Grandes Numeros sera estudiadaen las Secciones 2 y 3 de este Capıtulo y esencialmente dice los siguiente:

Teorema 1.1 Ley de los Grandes Numeros. Sea (Xn)n≥1 una sucesion devariables aleatorias independientes e identicamente distribuidas con esper-anza µ. Entonces∑n

k=1 Xk

n, converge en algun sentido a µ.

Este Teorema no solo nos dice que efectivamente existe una Ley emanadade los axiomas sino que provee de lo que en Estadıstica se conoce como unestimador de µ. Definiremos y demostraremos esta propiedad para dos tiposde convergencia, a saber, la convergencia casi segura y la convergencia enprobablidad.

Sin embargo, el hecho de que∑nk=1 Xk

n≈ µ,

en ocasiones no es suficiente. Mas precisamente, por ejemplo, en un contextode inferencia sea (Xn)n≥1 una sucesion de variables aleatorias independientese identicamente distribuidas segun F0 con media µ desconocida.

Supongamos que para cada n ≥ 1, Sn =∑n

k=1 Xk y supongamos quequeremos probar con la ayuda de Sn

nque µ > 5. La Ley de los Grandes

Numeros nos dice que este cociente es muy cercano a µ para n suficientementegrande, ası es que en primera instancia podrıamos pensar que no es tandescabellado. Sin embargo, se quiere mas, es decir, se quiere dar un criterioque nos diga algo en el siguiente sentido:

Rechace la Hipotesis de µ > 5 si Sn

nexcede a un cierto numero.

Si se conociera la distribucion de Sn

nse podrıa exhibir ese cierto numero

que garantizara que este cociente lo excede solo con probabilidad α (porejemplo, α = 0.05).

Sin embargo, lo que ocurre es que no conocemos su distribucion, supong-amos que “alguien” demostro que su distribucion converge a una distribucionconocida cuando n →∞. Entonces se podrıa usar la distribucion lımite comouna aproximacion.

El Teorema de Lımite Central es en este sentido y dice lo siguiente:

Page 3: Cap´ıtulo 1 Convergencia - … · Las sucesiones de variables aleatorias estar´an definidas en este espacio. Definici´on 1.1 Convergencia Puntual. Una sucesi´on de variables

1.2. CONVERGENCIA CASI SEGURA 3

Teorema 1.2 Sea (Xn)n≥1 una sucesion de variables aleatorias independi-entes, identicamente distribuidas con media µ y varianza σ2, entonces

limn→∞

P

[Sn − nµ

σ√

n≤ x

]= P [X ≤ x],

donde X es una variable aleatoria N(0, 1).

El lımite del Teorema anterior es un lımite de las funciones de distribuciony se conoce como convergencia en distribucion.

En todo este Capıtulo denotaremos por Sn =∑n

k=1 Xk.

1.2 Convergencia Casi segura

En toda esta seccion consideraremos (Ω,F , P ) un espacio de probabilidadfijo. Las sucesiones de variables aleatorias estaran definidas en este espacio.

Definicion 1.1 Convergencia Puntual. Una sucesion de variables aleatorias(Xn)n≥1 se dice que converge en el punto ω ∈ Ω si la sucesion de numerosreales (Xn(ω))n≥1 converge.

Definicion 1.2 Conjunto de Convergencia. El conjunto de puntos ω ∈ Ωpara los cuales la sucesion (Xn(ω))n≥1 converge sera llamado el conjunto deconvergencia.

Sea (Xn)n≥1 una sucesion de variables aleatorias y C su conjunto de conver-gencia. Consideremos la funcion X : Ω → R definida por:

X(ω) =

limn→∞Xn(ω), si ω ∈ C,c, si ω ∈ Cc.

(1.1) variablelimite

Para ω ∈ Ω fijo tal que Xn(ω) no converge a X(ω), entonces de la definicionde convergencia de sucesiones de numeros reales, existe ε > 0 tal que

|Xn −X| > ε, para una infinidad de n′s.

Observese que para cada ε > 0

ω ∈ Ω||Xn(ω)−X(ω)| > ε, para una infinidad de n′s

=∞⋂

n=1

∞⋃l=n

ω ∈ Ω| |Xl(ω)−X(ω)| > ε

=∞⋂

n=1

∞⋃l=n

[ |Xl −X| > ε] (Notacion). (1.2)

Page 4: Cap´ıtulo 1 Convergencia - … · Las sucesiones de variables aleatorias estar´an definidas en este espacio. Definici´on 1.1 Convergencia Puntual. Una sucesi´on de variables

4 CAPITULO 1. CONVERGENCIA

Luego entonces, el complemento del conjunto de convergencia C estara dadopor:

Cc =∞⋃

k=1

[∞⋂

n=1

∞⋃l=n

[|Xl −X| > 1

k

]]. (1.3) conjuntoconvergencia

Claramente el conjunto de convergencia es un evento y podemos concluirentonces que la sucesion (Xn)n≥1, converge a X sobre C.

Definicion 1.3 Convergencia Casi Segura. Una sucesion de variables aleato-rias (Xn)n≥1 se dice que converge casi seguramente si su conjunto de conver-gencia tiene probabilidad 1.

La convergencia casi segura la denotaremos por

Xnc.s.→ X

donde X es la variable aleatoria definida por la expresion (1.1).Observese que:

Xnc.s.→ X, P [Xn, no converge a X] = P [Cc] = 0

Ejemplo 1.1 Consideremos el experimento de elegir un punto al azar en elintervalo (0, 1). Para cada n ≥ 1, definimos

Xn(ω) =1

n[nω],

donde [·] denota la parte entera de ·.

Es claro que

limn→∞

Xn(ω) = X(ω) = ω, para toda ω ∈ Ω.

Por lo tanto, Xnc.s.→ X.

Ejemplo 1.2 Sea (Xn)n≥1 una sucesion de variables aleatorias independi-entes, identicamente distribuidas, con funcion de distribucion F . Supong-amos que F (x) < 1 para toda x < x0, x0 ∈ R ∪ ∞. Para cada n ≥ 1 seaX(n) definida por:

X(n) = maxX1, ..., XnEntonces

limn→∞

X(n) = x0, casi seguramente

Page 5: Cap´ıtulo 1 Convergencia - … · Las sucesiones de variables aleatorias estar´an definidas en este espacio. Definici´on 1.1 Convergencia Puntual. Una sucesi´on de variables

1.2. CONVERGENCIA CASI SEGURA 5

Para cada ω ∈ Ω fijo, la sucesion (X(n)(ω))n≥1 es una sucesion creciente. Porlo tanto, si x0 = ∞, converge a un lımite finito si y solo si esta acotada. Sea

C = ω ∈ Ω| (X(n)(ω))n≥1 converge a un lımite finito= ω ∈ Ω| (X(n)(ω))n≥1, esta acotada.

Demostraremos queP [C] = 0.

Observese que

C =∞⋃

M=1

[X(n) < M, n ≥ 1],

por lo tanto, es suficiente probar que para cada M ∈ IN ,

P [X(n) < M, n ≥ 1] = 0

Ası, para toda k ≥ 1 y puesto que las variables aleatorias Xn, n ≥ 1 sonindependientes

P [X(n) < M, n ≥ 1] ≤ P [X(n) < M, 1 ≤ n ≤ k] = F k(M).

Por hipotesis F (x) < 1 para toda x ∈ R, lo que implica que F k(M) → 0cuando k →∞. Por lo tanto,

P [X(n) < M, n ≥ 1] = 0.

Si x0 < ∞, para cada ω ∈ Ω la sucesion converge, ya que P [X(n)) ≤ x0] =1. y el lımite es menor o igual que x0. Para cada M < x0, sea

CM = ω ∈ Ω| limn→∞

X(n)(ω) ≤ M,

limn→∞

X(n)(ω) ≤ M, si y solo si X(n) < M, n ≥ 1.

Siguiendo la misma demostracion que en el caso anterior, tenemos que

P [CM ] = 0, para toda M < x0,

por lo tanto el lımite es igual a x0.

2

Page 6: Cap´ıtulo 1 Convergencia - … · Las sucesiones de variables aleatorias estar´an definidas en este espacio. Definici´on 1.1 Convergencia Puntual. Una sucesi´on de variables

6 CAPITULO 1. CONVERGENCIA

Ejemplo 1.3 Consideremos una sucesion infinita de ensayos Bernoulli in-dependientes con probabilidad p (< 1) de exito. Sea

Xn(ω) =

n, si los primeros n ensayos fueron fracaso,k, si el primer exito ocurrio en el ensayo k, k ≤ n.

Entonces, Xnc.s.→ X, donde X es una variable aleatoria Geometrica con

parametro p.

Para cada ω ∈ Ω la sucesion (Xn(ω))n≥1 es no-decreciente, por lo tanto,la sucesion no converge si y solo si tiende a infinito. Probaremos que laprobabilidad del conjunto de las ω ∈ Ω tales que la sucesion tiende a ∞ tieneprobabilidad cero:

P [limn

Xn = ∞] = P

[⋂n≥1

[Xn = n]

]≤ P [Xn = n] = (1− p)n−1 → 0.

Es claro de la definicion que si (Xn(ω))n≥1 converge, esto implica que esconstante a partir de una cierta k ≥ 1, donde k es el ensayo en el que ocurreel primer exito. Por lo tanto la variable aleatoria lımite es una variablealeatoria Geometrica con parametro p.

2

Finalmente demostraremos La Ley de los Grandes Numeros mencionada enla Introduccion.

Teorema 1.3 Ley Fuerte de Los Grandes Numeros. (Kolmogorov). Sea(Xn)n≥1 una sucesion de variables aleatorias independientes e identicamentedistribuidas. Entonces

Sn

nconverge casi seguramente,

si y solo si las variables aleatorias Xn tienen esperanza finita y

Sn

n

c.s.→ E[X1],

donde Sn =∑n

k=1 Xk.

Page 7: Cap´ıtulo 1 Convergencia - … · Las sucesiones de variables aleatorias estar´an definidas en este espacio. Definici´on 1.1 Convergencia Puntual. Una sucesi´on de variables

1.2. CONVERGENCIA CASI SEGURA 7

La demostracion de la Ley Fuerte de los Grandes Numeros es complicaday esta mas alla de los conocimientos del nivel de este libro, por lo que noscontentaremos con demostrar una Ley Fuerte diferente cuya demostracion esmuy simple.

El resultado que probaremos aun cuando impone condiciones mas fuertessobre la existencia de los momentos de las variables aleatorias, no requiereque estas sean identicamente distribuidas. Recuerdese que de la expresion1.3 demostrar la convergencia casi segura es equivalente a probar que laprobabilidad del complemento del conjunto de convergencia C es igual a cero.El Lema siguiente conocido como el Lema de Borel-Cantelli sera fundamentalen la demostracion.

Lema 1.1 Lema de Borel-Cantelli. Sea (An)n≥1 una sucesion de eventos talque

∑n≥1 P [An] < ∞. Entonces

P [An, ocurra para una infinidad de n′s] = P [∞⋂

n=1

∞⋃l=n

Al] = 0.

DemostracionDe la definicion se tiene que para toda n ≥ 1,

P

[∞⋂

n=1

∞⋃l=n

Al

]≤ P

[∞⋃

l=n

Al

]≤

∞∑l=n

P [Al]

Por hipotesis∑∞

n=1 P [An] < ∞, por lo tanto,∑∞

l=n P [Al] → 0 cuando n →∞, de donde P [

⋂∞n=1

⋃∞l=n Al] = 0.

2

Teorema 1.4 Una Ley Fuerte de los Grandes Numeros. Sea (Xn)n≥1 unasucesion de variables aleatorias independientes, con cuarto momento finito.Supongamos que para toda n ≥ 1, E[Xn] = µ, V ar(Xn) = σ2 y E[(Xn −µ)4] = ρ. Entonces

Sn

n

c.s.→ µ,

donde Sn =∑n

k=1 Xk.

Demostracion

Page 8: Cap´ıtulo 1 Convergencia - … · Las sucesiones de variables aleatorias estar´an definidas en este espacio. Definici´on 1.1 Convergencia Puntual. Una sucesi´on de variables

8 CAPITULO 1. CONVERGENCIA

De la expresion 1.3, es suficiente demostrar que para toda ε > 0,

P

[∣∣∣∣Sn

n− µ

∣∣∣∣ > ε, o.i.

]= 0.

Por el Lema anterior basta probar que

∞∑n=1

P

[∣∣∣∣Sn

n− µ

∣∣∣∣ > ε

]< ∞.

De la Desigualdad de Bienayme-Chebyshev y puesto que las variables aleato-rias Xk son independientes, con varianza y cuartos momentos centrales co-munes se tiene

P

[∣∣∣∣Sn

n− µ

∣∣∣∣ > ε

]= P

[∣∣∣∣∣n∑

k=1

(Xk − µ

∣∣∣∣∣ > εn

]

≤ 1

(εn)4E[(

n∑k=1

(Xk − µ))4]

=1

(εn)4[nE[(X1 − µ)4] + n(n− 1)(E[(X1 − µ)2])2

≤ K

n2,

donde K es una constante. Ya que∑

n≥11n2 = π2

6, se obtiene que

∞∑n=1

P

[∣∣∣∣Sn

n− µ

∣∣∣∣ > ε

]< ∞.

2

Una consecuencia de la Ley de los Grandes Numeros es la aproximacion dela distribucion de una variable aleatoria por lo que llamaremos el ProcesoEmpırico y que definimos a continuacion:

Sea (Xn)n≥1 una sucesion de v.a.i.i.d. Para cada x ∈ R y n ∈ N definimos

11[Xn≤x] =

1, si Xn ≤ x,0, si Xn > x,

y

Nn(x) =Sn(x)

n=

1

n

n∑i=1

11[Xn≤x].

Page 9: Cap´ıtulo 1 Convergencia - … · Las sucesiones de variables aleatorias estar´an definidas en este espacio. Definici´on 1.1 Convergencia Puntual. Una sucesi´on de variables

1.3. CONVERGENCIA EN PROBABILIDAD 9

A Las variables aleatorias Nn(x), x ∈ R se le conoce como el ProcesoEmpırico.

Corolario 1.1 Sea (Xn)n≥1 una sucesion de v.a.i.i.d. con funcion de dis-tribucion F . Entonces, para cada x ∈ R

Nn(x)c.s.→ F (x), cuando n →∞

La demostracion se sigue inmediatamente de la Ley Fuerte de los GrandesNumeros. De hecho se tiene un resultado mas fuerte que no demostraremos:

Teorema 1.5 Teorema de Glivenko-Cantelli. Sea (Xn)n≥1 una sucesion dev.a.i.i., con distribucion F . entonces

supx∈R

|Nn(x)− F (x)| c.s.→ 0, cuando n →∞.

1.3 Convergencia en Probabilidad

Un tipo de convergencia mas debil que la convergencia casi segura es la lla-mada convergencia en probabilidad. Antes de dar la definicion consideremosel siguiente ejemplo que es muy ilustrativo.

ejeconvprobEjemplo 1.4 Consideremos nuevamente el experimento de elegir un puntoal azar en el intervalo (0, 1) y sea (Xnk)n≥1,0≤k≤n−1 una sucesion de variablesaleatorias definidas de la de siguiente manera:

Xnk(ω) =

1, k

n≤ ω < k+1

n, si 0 ≤ k ≤ n− 1,

0, en otro caso.

Esto es, tenemos el siguiente arreglo:

X10

X20, X21

X30, X31, X32

......

...

Xn0, Xn1, Xn2, · · · , Xnn−1

......

......

...

Page 10: Cap´ıtulo 1 Convergencia - … · Las sucesiones de variables aleatorias estar´an definidas en este espacio. Definici´on 1.1 Convergencia Puntual. Una sucesi´on de variables

10 CAPITULO 1. CONVERGENCIA

GRAFICASEs posible escribir el arreglo como una sola sucesion, (Ym)m≥1 de la sigu-

iente manera:Yn(n−1)/2+k+1 = Xnk,

Observese que para cada ω ∈ (0, 1) hay una infinidad de parejas (n, k) paralas que Xnk = 0 y tambien una infinidad para las que Xnk = 1. Por lotanto, para toda ω ∈ (0, 1) la sucesion (Ym(ω))m≥1 no converge, es decir, suconjunto de convergencia tiene probabilidad cero.

Sin embargo, es claro que para n suficientemente grande, las variablesaleatorias Xnk son muy parecidas a la variable aleatoria X ≡ 0. De hechoson iguales a cero excepto en un conjunto de probabilidad 1

n, lo que sugiere

la siguiente definicion:

Definicion 1.4 Convergencia en Probabilidad. Una sucesion (Xn)n≥1 devariables aleatorias se dice que converge en probabilidad a la variable aleatoriaX si para cada ε > 0 se satisface:

limn→∞

P [|Xn −X| > ε] = 0

La convergencia en probabilidad sera denotada por XnP→ X.

Claramente la sucesion de variables aleatorias (Ym)m≥1 del Ejemplo 1.4 con-verge en probabilidad a la variable aleatoria X ≡ 0.

A continuacion presentamos algunas de las Leyes Debiles de los GrandesNumeros. El apellido Debiles se refiere a la convergencia en probabilidad yno casi segura que como hemos visto con el Ejemplo 1.4 es mas debil.

Teorema 1.6 Sea (Xn)n≥1 una sucesion de variables aleatorias, entonces

1. Ley Debil de los Grandes Numeros de Bernoulli. Si X1, X2, ...., Xn, ...son variables aleatorias independientes identicamente distribuidas, condistribucion Bernoulli con parametro p, entonces

Sn

n

P→ p.

2. Ley Debil de los Grandes Numeros. Si X1, ..., Xn, ... son variablesaleatorias independientes identicamente distribuidas con E[X1] = µ,entonces

Sn

n

P→ µ.

Page 11: Cap´ıtulo 1 Convergencia - … · Las sucesiones de variables aleatorias estar´an definidas en este espacio. Definici´on 1.1 Convergencia Puntual. Una sucesi´on de variables

1.3. CONVERGENCIA EN PROBABILIDAD 11

3. Ley Debil de los Grandes Numeros de Poisson. Si X1, ..., Xn, ... sonvariables aleatorias independientes, y para cada i, Xi tiene distribucionBernoulli con parametro pi, i ≥ 1, entonces

Sn

n− E

[Sn

n

]P→ 0.

4. Ley Debil de Chebyshev. Si X1, ..., Xn, ... son variables aleatorias nocorrelacionadas, es decir, Cov(Xi, Xj) = 0 para i 6= j, y V ar(Xi) ≤M < ∞ para toda i ≥ 1, entonces

Sn

n− E

[Sn

n

]P→ 0.

5. Ley Debil de Markov. Si X1, ..., Xn, ... son variables aleatorias con se-gundo momento finito tales que:

V ar

(Sn

n

)→ 0, Condicion de Markov,

EntoncesSn

n− E

[Sn

n

]P→ 0.

DemostracionDe estas Leyes puede demostrarse facilmente que

(i) La Ley Debil de Markov es mas fuerte que la de Chebyshev y que la LeyDebil.

(ii) La Ley Debil de Chebyshev es mas fuerte que la de Poisson.

(iii) La Ley Debil de Poisson es mas fuerte que la de Bernoulli.

(iv) La Ley Debil es mas fuerte que la de Bernoulli.

Luego entonces, es suficiente demostrar la Ley de Markov, la cual se sigue dela Desigualdad de Bienayme-Chebyshev:

Dada ε > 0, se tiene:

P

[∣∣∣∣Sn

n− E

[Sn

n

]∣∣∣∣ > ε

]≤

V ar(

Sn

n

)ε2

.

Page 12: Cap´ıtulo 1 Convergencia - … · Las sucesiones de variables aleatorias estar´an definidas en este espacio. Definici´on 1.1 Convergencia Puntual. Una sucesi´on de variables

12 CAPITULO 1. CONVERGENCIA

La Condicion de Markov implica ası la convergencia en probabilidad.

2

Como hemos visto en el Ejemplo 1.4 la convergencia en probabilidad noimplica la convergencia casi segura, sin embargo, el recıproco si es valido:

Teorema 1.7 Sea (Xn)n≥1 una sucesion de variables aleatorias. Si Xnc.s.→ X

entonces XnP→ X.

Demostracion

Supongamos que Xnc.s.→ X y sea C su conjunto de convergencia. Entonces

para n ≥ 1 y ε > 0:

[|Xn −X| > ε] ⊂⋃k≥n

[|Xk −X| > ε].

Sea

B(ε) =⋂n≥1

∞⋃k=n

[|Xk −X| < ε],

entonces B(ε) ⊂ Cc, por lo tanto P [B(ε)] = 0. Por otro lado,

0 = P [B(ε)] = limn→∞

P [⋃k≥n

[|Xk −X| > ε],

de donde se obtiene el resultado.

2

Volviendo al Ejemplo 1.4 se puede observar que si bien el conjunto de conver-gencia de la sucesion tiene probabilidad 0 se puede considerar una subsucesionque converge casi seguramente a la variable aleatoria X = 0, por ejemplo lasubsucesion (Xn1)n≥1. Esto no es casual, de hecho es un resultado general,que enunciamos a continuacion pero que omitimos su demostracion.

Teorema 1.8 Sea (Xn)n≥1 una sucesion de variables aleatorias. Si XnP→ X

entonces existe una subsucesion (Xnk)nk≥1 tal que Xnk

c.s.→ X.

Page 13: Cap´ıtulo 1 Convergencia - … · Las sucesiones de variables aleatorias estar´an definidas en este espacio. Definici´on 1.1 Convergencia Puntual. Una sucesi´on de variables

1.4. CONVERGENCIA EN DISTRIBUCION 13

1.4 Convergencia en Distribucion

En las definiciones de convergencia casi segura y en probabilidad, se consideroun espacio de probabilidad (Ω,F , P ) fijo en donde estaban definidas todaslas variables aleatorias. La convergencia en distribucion que se definira acontinuacion es un concepto que se refiere no a una propiedad de convergenciade las variables aleatorias sino de las funciones de distribucion. Ası, lasvariables aleatorias en consideracion en esta seccion pueden estar definidasen distintos espacios de probabilidad.

Definicion 1.5 Sea (Xn)n≥1 una sucesion de variables aleatorias y (Fn)n≥1

la sucesion correspondiente de funciones de distribucion. Diremos que Xn

converge en distribucion a (la variable aleatoria) X con funcion de dis-tribucion F , si

limn→∞

Fn(x) = F (x),

para todo x ∈ R, punto de continuidad de F . La convergencia en distribucion

la denotaremos XnD→ X (o Fn

D→ F ).

Ejemplo 1.5 Para cada n ≥ 1 sea Xn una variable aleatoria uniforme sobre

el intervalo (− 1n, 1

n). Entonces Xn

D→ X, donde P [X = 0] = 1.

La funcion de distribucion Fn de Xn esta dada por

Fn(x) =

0, si x ≤ − 1

n,

12(1 + nx), si − 1

n< x < 1

n,

1, si x ≥ 1n.

Cuando n →∞ la sucesion de funciones Fn tiende a G, donde

G(x) =

0, si x < 0,12, si x = 0,

1, si x > 0.

La funcion G no es una funcion de distribucion ya que no es continua por laderecha. Consideremos la funcion de distribucion F de la variable aleatoriaX que es la constante igual a 0, es decir,

F (x) =

0, si x < 0,1, si x ≥ 0,

Page 14: Cap´ıtulo 1 Convergencia - … · Las sucesiones de variables aleatorias estar´an definidas en este espacio. Definici´on 1.1 Convergencia Puntual. Una sucesi´on de variables

14 CAPITULO 1. CONVERGENCIA

Claramente, de la definicion de convergencia en distribucion XnD→ X, pues

Fn(x) converge a F (x) para toda x 6= 0 y el 0 no es un punto de continuidadde la funcion F .

Observese que en este ejemplo las variables aleatorias Xn pueden estardefinidas en distintos espacios de probabilidad.

constantenEjemplo 1.6 Para cada n ≥ 1 sea Xn la variable aleatoria constante iguala n, es decir, P [Xn = n] = 1. La funcion de distribucion Fn de Xn esta dadapor:

Fn(x) = 11[n,∞)(x),

Luego, entonces

limn→∞

Fn(x) = 0, para toda x ∈ R.

Sin embargo, la funcion identicamente cero no es una funcion de distribucion.Esto es, aun cuando para toda x ∈ R el limn→∞ Fn(x) existe, el lımite noes funcion de distribucion, por lo tanto la sucesion (Xn)n≥1 no converge endistribucion.

Ejemplo 1.7 Sea X una variable aleatoria N(0, 1). Para cada n ≥ 1 seaXn la variable aleatoria definida por:

Xn(ω) = (−1)nX(ω).

La distribucion de Xn es tambien N(0, 1), por lo tanto, XnD→ X.

De este ejemplo se puede concluir que aun cuando las variables aleatoriasesten definidas en el mismo espacio de probabilidad, la convergencia en dis-tribucion no nos da informacion acerca de la convergencia de las variablesaleatorias, pues en este caso,

|Xn −X| =

2X, si n es par,0, si n es impar.

Ejemplo 1.8 Sea (Xn)n≥1 una sucesion de variables aleatorias independi-entes e identicamente distribuidas Exponenciales con parametro λ > 0. SeaMn = max X1, ..., Xn y

Zn = λMn − log n,

Page 15: Cap´ıtulo 1 Convergencia - … · Las sucesiones de variables aleatorias estar´an definidas en este espacio. Definici´on 1.1 Convergencia Puntual. Una sucesi´on de variables

1.4. CONVERGENCIA EN DISTRIBUCION 15

enotonces, para cada x ∈ R y n tal que x + log n > 0

Fn(x) = P [Zn ≤ x] = P [Mn ≤1

λ(x + log n)]

= (1− exp(−λ1

λ(x + log n))n

=

(1− e−x

n

)n

.

Por lo tanto,

limn→∞

Fn(x) = exp(−e−x).

La funcion

F (x) = exp(−e−x),

es una funcion de distribucion llamada la distribucion Gumbel. Es decir

ZnD→ Z, donde Z es una variables aleatoria con distribucion Gumbel.

Ejemplo 1.9 Sea (Xn)n≥1 una sucesion de variables aleatorias uniformesen (0, 1). Sea Mn = max X1, ..., Xn y

Zn = n(Mn − 1).

Claramente las variables aleatorias Zn toman valores en (−∞, 0). Entonces,para cada x > 0,

P [Zn ≤ x] = 1, para toda n ≥ 1.

Para x < 0 y n tal que xn

+ 1 ∈ (0, 1), tenemos

Fn(x) = P [Zn ≤ x] = P [Mn ≤x

n+ 1]

=(x

n+ 1)n

.

De donde

limn→∞

Fn(x) = exp(−(−x)), si x < 0.

La funcion

F (x) =

1, si x > 0,exp(−(−x)), si x ≤ 0,

Page 16: Cap´ıtulo 1 Convergencia - … · Las sucesiones de variables aleatorias estar´an definidas en este espacio. Definici´on 1.1 Convergencia Puntual. Una sucesi´on de variables

16 CAPITULO 1. CONVERGENCIA

es una funcion de distribucion llamada Distribucion Weibull con parametroα = 1, es decir

ZnD→ Z,

donde Z es una variable aleatoria con distribucion Weibull con parametroα = 1.

En general, es bastante difıcil demostrar la convergencia en distribucion puesla forma de estas funciones en ocasiones (como por ejemplo, en el caso Gaus-siano) no es cerrada, es decir, se expresa en terminos de una integral. No soloeso sino que como veremos mas adelante en lo que llamaremos el Teorema deLımite Central, los resultados importantes de convergencia en distribucionse refieren no a sucesiones particulares de variables aleatorias, sino a suce-siones de variables aleatorias independientes e identicamente distribuidas conla unica condicion adicional de la existencia de segundo momento finito.

Por otro lado, recuerdese que la funcion caracterıstica caracteriza a lafuncion de distribucion, por lo que intuitivamente se podrıa esperar algunarelacion entre la convergencia de las funciones caracterısticas de una sucesionde variables aleatorias y su convergencia en distribucion. El siguiente Teo-rema (de Levy-Cramer o Teorema de Continuidad de Levy) es en este sentido.

Teorema 1.9 Teorema de Levy-Cramer o de Continuidad de Levy. Unasucesion de variables aleatorias (Xn)n≥1 converge en distribucion a la vari-able aleatoria X si y solo para toda t ∈ R la sucesion (Φn(t))n≥1 de suscorespondientes funciones caracterısticas converge a la funcion caracterısticaΦ(t) de X.

Observese que en el Ejemplo 1.6 la funcion caracterıstica de Xn esta dadapor:

Φn(t) = eitn,

y limn→∞ eitn no existe, pues eitn = cos(tn) + isen(tn), por lo que tanto suparte real como imaginaria oscilan cuando n →∞.

Teorema 1.10 Teorema de Lımite Central (Clasico). Sea (Xn)n≥1 una sucesionde variables aleatorias independientes identicamene distribuidas con esper-anza µ y varianza σ2. Entonces

Sn − nµ√nσ

D→ X,

donde X es una variable aleatoria N(0, 1).

Page 17: Cap´ıtulo 1 Convergencia - … · Las sucesiones de variables aleatorias estar´an definidas en este espacio. Definici´on 1.1 Convergencia Puntual. Una sucesi´on de variables

1.4. CONVERGENCIA EN DISTRIBUCION 17

DemostracionPor el Teorema de Levy-Cramer es suficiente demostrar que las funciones

caracterısticas convergen. Para cada n ≥ 1, sea Yn = Xn−µσ

, entonces

Sn − nµ

σ√

n=

1√n

n∑j=1

Yj.

Las variables aleatorias Y1, Y2, ... son independientes e identicamente dis-tribuidas con media cero y varianza uno. Luego entonces

Φn(t) = E

[exp

(it

Sn − nµ

σ√

n

)]= E

[exp

(it

1√n

n∑j=1

Yj

)]

=n∏

j=1

E

[exp

(it

1√n

Yj

)](

ΦY1

(t√n

))n

.

donde ΦY1 es la funcion caracterıstica de Y1 (de hecho de todas las variablesaleatorias Yn).

De la expansion de la funcion caracterıstica ?? se obtiene:

Φn(t) =

[1− t2

2n+ o

(1

n

)].

Cuando n → ∞,[1− t2

2n+ o

(1n

)]→ e−t2/2 que es la funcion caracterıstica

de una variable aleatoria N(0, 1).2

Ejemplo 1.10 Una Aplicacion a Muestreo. En un lote de focos hay unafraccion desconocida p de focos defectuosos. Utilizando el muestreo con reem-plazo, se desea encontrar p con un error no mayor de 0.005.

Observese que

p =Numero de focos defectuosos

Numero de focos en el lote.

Sean X1, ..., Xn variables aleatorias independientes Bernoulli con parametrop. De la Ley de Fuerte de los Grandes Numeros, tenemos que Sn

n

c.s.→ p, por

Page 18: Cap´ıtulo 1 Convergencia - … · Las sucesiones de variables aleatorias estar´an definidas en este espacio. Definici´on 1.1 Convergencia Puntual. Una sucesi´on de variables

18 CAPITULO 1. CONVERGENCIA

lo que para n grande se puede considerar a Sn

ncomo un estimador de p. La

Ley de Los Grandes Numeros no da suficiente informacion pues no dice cuales la velocidad de convergencia. Mas precisamente se desea encontrar n talque

P

[∣∣∣∣Sn

n− p

∣∣∣∣ < 0.005

]> 0.95,

Observese que

P

[∣∣∣∣Sn

n− p

∣∣∣∣ < 0.05

]= P

[∣∣∣∣∣ Sn − np√p(1− p)n

∣∣∣∣∣ < 0.05n√p(1− p)n

].

Por el Teorema de Lımite Central se tiene que

Sn − np√p(1− p)n

D→ X,

donde X es una variable aleatoria N(0, 1).Ası, sea z0 tal que N(z0) − N(−z0) = 0.95, donde N(·) = P [X ≤ ·].

(Este valor se puede encontrar en las tablas de la distribucion Gaussiana) yn suficientemente grande tal que

0.05√

n√p(1− p)

≥ z0,

esto es,n ≥ 400p(1− p)z2

0 .

En esta ultima expresion interviene p que es deconocida, sin embargo, inde-pendientemente de su valor

1

4≥ p(1− p).

Luego entonces basta tomar n ≥ 100z20 .

1.5 Evolucion del Problema

La Ley de los Grandes Numeros y el teorema de Lımite Central presenta-dos son resultados sobre la convergencia de sumas normalizadas de vari-ables aleatorias independientes e identicamente distribuidas, las primeras

Page 19: Cap´ıtulo 1 Convergencia - … · Las sucesiones de variables aleatorias estar´an definidas en este espacio. Definici´on 1.1 Convergencia Puntual. Una sucesi´on de variables

1.5. EVOLUCION DEL PROBLEMA 19

demostraciones (en el caso de variables aleatorias Bernoulli) datan del sigloXVIII con los trabajos de Bernoulli, Laplace y De Moivre.

Los resultados que se presentan aquı son los llamados clasicos, y comohemos visto se imponen condiciones fuertes sobre las distribuciones de lasvariable aleatorias. Observese que en los casos descritos las variables aleato-rias se centran con respecto a la media y se normalizan con respecto a lavarianza, ademas de que se supone que son independientes e identicamentedistribuidas.

Sin embargo, dada una sucesion arbitraria de variables aleatorias podrıamospreguntarnos si es posible la existencia de una Ley de Grandes Numeros y unTeorema de Lımite Central en algun sentido. Mas precisamente este prob-lema podrıa plantearse de la siguiente manera:

Dada una sucesion (Xn)n≥1 de variables aleatorias, existen constantes(an)n≥1, (bn)n≥1 tales que

Sn

an

− bn,

converja (en probabilidad) a una constante, o (en distribucion) a una dis-tribucion Gaussiana? Algunas de las respuestas a estas preguntas puedenconsultars en ??, por ejemplo, cuando las variables aleatorias son independi-entes mas no identicamente distribuidas. Resultados en este sentido existentambien cuando se debilita la condicion de independencia ??

En este siglo, Levy plantea un problema mas general:Encontrar la familia de posibles distribuciones lımites de sumas normal-

izadas de variables aleatorias independientes e identicamente distribuidas, esdecir, sin imponer condiciones sobre la existencia de los momentos. Levyconsidera el caso de segundo momento infinito y primer momento finito oinfinito.

Naturalmente, el problema de posibles distribuciones lımites de sumasnormalizadas de variables aleatorias independientes no necesariamente identicamentedistribuidas surge al mismo tiempo puede consultarse ??.

Page 20: Cap´ıtulo 1 Convergencia - … · Las sucesiones de variables aleatorias estar´an definidas en este espacio. Definici´on 1.1 Convergencia Puntual. Una sucesi´on de variables

20 CAPITULO 1. CONVERGENCIA

Tarea III

Probabilidad II

1. Demuestre que la Ley Debil de Poisson es un caso particular de la LeyDebil de Chebyshev.

2. Para cada n ≥ 1 sea Xn una variable aleatoria N(n, σ2). Las variablesaleatorias Xn, n ≥ 1 convergen en distribucion?.

3. Para cada n ≥ 1 sea Xn una variable aleatoria N(µ, 1n). Las variables

aleatorias Xn, n ≥ 1 convergen en distribucion?.

4. Sea (Xn)n≥1 una sucesion de variables aleatorias independientes, identicamentedistribuidas con distribucion Pareto con parametros α, K > 0 dada por:

F (x) =

0, si x < K1/α,1−Kx−α, si x ≥ K1/α.

Sea Mn = max X1, ..., Xn y Zn = Mn

(Kn)1/α . Demuestre que ZnD→ Z

donde Z es una variable aleatoria con distribucion dada por:

FZ(x) =

0, si x < 0,exp(−x−α), si x ≥ 0.

A FZ se le conoce como la distribucion Frechet con parametro α > 0.

5. Para los incisos (i)-(iv) genere (en el programa de computacion quesepa usar) muestras de variables aleatorias X1, ..., Xn, independientese identicamente distribuidas.

(a) Calcule Sn =∑n

i=1 Xi,

(b) Calcule Sn

ncomparelo con el resultado de la Ley de los Grandes

Numeros, para n = 10, 100, 1000, .

(c) Calcule para la muestra generada el proceso empırico N(x) definidoen las notas, compare los resultados con la distribucion de las vari-ables aleatorias. (Teorema de Glivenko-Cantelli).

(i) Variables aleatorias Bernoulli con parametro p (para tres distintosvalores del parametro).

Page 21: Cap´ıtulo 1 Convergencia - … · Las sucesiones de variables aleatorias estar´an definidas en este espacio. Definici´on 1.1 Convergencia Puntual. Una sucesi´on de variables

1.5. EVOLUCION DEL PROBLEMA 21

(ii) Variables aleatorias Binomiales con parametros k, p (para tresvalores distintos de (k, p)).

(iii) Variables aleatorias Exponenciales con parametro λ > 0 (paratres valores distintos del parametro).

(iv) Variables aleatorias Gamma con parametros α, λ. (para tres dis-tintos valores de los parametros.)

6. Compare la distribucion de∑n

i=1 Xi con la aproximacion del Teoremade Lımite Central, para las variables aleatorias (i)-(iv) del ejercicioanterior. Es decir, considere X1, ..., Xn v. a.i.i.d. Sn =

∑ni=1 Xi,

entonces

P [Sn ≤ x] ≈ P

[X ≤ x− nµ√

nσ2

],

donde E[Xi] = µ,V ar(Xi) = σ2 y X es una variable aleatoria N(0, 1).No use simulaciones en este ejercicio sino la distribucion exacta. Paran = 10, 30, 50.