34 CAPITULO 2. LEY DE LOS NUMEROS GRANDES

Demostracion. Por el Teorema 2.10, vemos que basta probar que

lımn→∞

1

n2E

(

n∑

k=1

(Xn,k − E(Xn,k))

)2

= 0.

La esperanza en esta expresion se puede escribir como

n∑

k=1

V ar(Xn,k) +∑

1≤k,j≤n

Cov(Xn,k,Xn,j).

Por la hipotesis (i), basta probar que

lımn→∞

1

n2

∑

1≤k,j≤n

Cov(Xn,k,Xn,j) = 0.

Ahora, Cov(Xn,k,Xn,j) ≤√

V ar(Xn,k)V ar(Xn,j) ≤ V ar(Xn,k) + V ar(Xn,j). Luego, solo tene-mos que probar que para todo δ > 0 existe un m tal que

lım supn→∞

1

n2

∑

1≤k,j≤n:|k−j|≥m

Cov(Xn,k,Xn,j) ≤ δ.

Pero esto es evidentemente cierto porque el termino del lado izquierdo de esta exresion es menoro igual a supk,j:|k−j|≥m Cov(Xn,k,Xn,j) que tiende a 0 por la condicion (ii).

Una aplicacion interesante de la ley de los numeros grandes para demostrar una version delteorema de aproximaciıon de Weierstrass.

Teorema 2.12. (Teorema de Bernstein). Consideremos una funcion continua f en el in-tervalo [0, 1]. Luego, los polinomios de Bernstein

Bn(x) =

n∑

k=0

f(k/n)(n

k

)

xk(1 − x)n−k,

aproximan uniformemente a f en [0, 1].

2.2. Una version elemental de la ley fuerte de los numeros gran-

des

La convergencia en probabilidad, en la ley debil de los numeros grandes, se puede facilmentetransformar en convergencia casi segura, si le exigimos mas a la sucesion de variables aleatoriasi.i.d.

Teorema 2.13. (Version elemental de la ley fuerte de los numeros grandes). Con-sideremos una sucesion Xn : n ≥ 1 de variables aleatorias i.i.d. con momentos de orden 4finitos. Luego

P

(

lımn→∞

∑nk=1 Xk

n= E(X1)

)

= 1.

2.2. UNA VERSION ELEMENTAL DE LA LEY FUERTE DE LOS NUMEROS GRANDES35

Demostracion. Basta probar que para todo ǫ > 0,

lım supn→∞

∣

∣

∣

∣

∑nk=1 Xk

n− E(X1)

∣

∣

∣

∣

≤ ǫ P − c.s.

Es decir que

P

(∣

∣

∣

∣

∑nk=1 Xk

n− E(X1)

∣

∣

∣

∣

> ǫ i.o.

)

= 0. (2.7)

Ahora, si Yk = Xk − E(Xk), vemos que

P

(∣

∣

∣

∣

∑nk=1 Xk

n− E(X1)

∣

∣

∣

∣

> ǫ

)

≤1

ǫ4n4E

(

n∑

k=1

Yk

)4

. (2.8)

Pero

E

(

n∑

k=1

Yk

)4

=∑

i,j,k,l

E(YiYjYkYl) = nE(Y 41 ) +

n(n − 1)

2E(Y 2

1 )2.

Ocupando el hecho que E(Y )2 ≤ E(Y 2), vemos entonces que la probabilidad en la ecuacion(2.8) esta acotada por

2

ǫ4

1

n2E(Y 4).

Como esto define una serie sumable, el lema de Borel-Cantelli implica (2.7).

Ahora estudiaremos una contraparte del lema de Borel-Cantelli estudiado en el capıtuloanterior, que nos permitira obtener algunas conclusiones sobre las condiciones bajo las que sesatisface una ley de los numeros grandes.

Teorema 2.14. (Segundo lema de Borel-Cantelli). Sea An una sucesion de eventosindependientes que satisface

∑∞n=1 P (An) = ∞. Luego

P (An i.o.) = 1. (2.9)

Demostracion. Sean k > n naturales. Luego

P (∩kj=nAc

j) = Πkj=n(1 − P (Aj)) ≤ e−

Pkj=n P (Aj),

donde hemos ocupado la desigualdad 1 − x ≤ e−x. Luego, P (∪∞j=1Aj) = 1, lo que claramente

implica (2.9).

Una aplicacion interesante de este resultado es la siguiente.

Teorema 2.15. Sea Xn una sucesion de variables aleatorias i.i.d. Supongamos que X1 noes integrable. Luego

P

(

lımn→∞

1

n

n∑

k=1

Xk existe

)

= 0.

36 CAPITULO 2. LEY DE LOS NUMEROS GRANDES

Teorema 2.16. (Condicion necesaria para la ley fuerte). Sea Xn : n ≥ 1 una sucesionde variables aleatorias i.i.d. en un espacio de probabilidad (Ω,M, P ). Supongamos que X1 noes integrable. Luego, si an es una sucesion de numeros reales,

lım supn→∞

∣

∣

∣

∣

∑nk=1 Xk

n− an

∣

∣

∣

∣

= ∞, P − c.s.

2.3. La desigualdad de Kolmogorov

Aquı desarrollaremos algunas herramientas que posteriormente nos permitiran demostrarla ley fuerte de los numeros grandes bajo la hipotesis de integrabilidad de los terminos dela sucesion de variables aleatorias. En el resto de este capıtulo, dadas variables aleatoriasX1, . . . ,Xn definimos

Sn = X1 + · · · + Xn.

Lema 2.17. (Desigualdad de Kolmogorov). Sean X1, . . . ,Xn variables aleatorias indepen-dientes tales que E(Xi) = 0 y V ar(Xi) = σ2

i < ∞ para 1 ≤ i ≤ n. Luego para todo ǫ > 0 setiene que

P ( sup1≤m≤n

Sm ≥ ǫ) ≤

∑nk=1 σ2

k

ǫ2.

Demostracion. Consideremos los eventos Fm = |S1| < ǫ, . . . , |Sk−1| < ǫ, |Sk| ≥ ǫ. Luego

P (Fm) ≤ 1ǫ2

∫

FmS2

mdP ≤ 1ǫ2

∫

(S2m + (Sn − Sm)2)dP

= 1ǫ2

∫

FmS2

mdP. (2.10)

Ocupando el hecho de que Sn ≥ ǫ = ∪nm=1Fm, donde la union es disjunta, y sumando sobre

la desigualdad (2.10), terminamos la demostracion.

Tenemos la primera aplicacion de la desigualdad de Kolmogorov.

Teorema 2.18. (Teorema de una serie de Kolmogorov). Sea Xn : n ≥ 1 una sucesionde variables aleatorias independientes centradas tales que

∑∞n=1 V ar(Xn) < ∞. Luego, la serie

∞∑

n=1

Xn,

converge c.s.

Demostracion. Por la desigualdad de Kolmogorov, para todo ǫ > 0 y m ≤ n,

P ( supm≤i≤n

|Si − Sm| ≥ ǫ) ≤1

ǫ2

∞∑

k=m+1

V ar(Xi).

Por lo tanto

lımm→∞

supn≥m

P ( supm≤i≤n

|Si − Sm| ≥ ǫ) = 0.

2.3. LA DESIGUALDAD DE KOLMOGOROV 37

Es decir

lımm→∞

P ( supm≤i<∞

|Si − Sm| ≥ ǫ) = 0.

Esto implica que existe una subsucesion mj de m tal que la serie definida por P (supmj≤i<∞ |Si−Smj

| ≥ ǫ), es convergente. Por el lema de Borel-Cantelli, esta subsucesion de supmj≤i<∞ |Si −Smj

| converge casi seguramente a 0. Como supm≤i<∞ |Si −Sm| es decreciente, esto implica queconverge casi seguramente a 0.

Teorema 2.19. (Teorema de las dos series de Kolmogorov). Sea Xn : n ≥ 1 unasucesion de variables aleatorias independientes de cuadrado integrable. Sea mn = E(Xn) yσ2

n = V ar(Xn). Luego, si las series∑

n mn y∑

n σ2n son convergentes, entonces la serie

∑

n Xn

converge casi seguramente.

Demostracion. Basta aplicar el teorema anterior a la sucesion definida por X ′n = Xn − mn.

Lema 2.20. Sea Xn una sucesion de variables aleatorias independientes centradas y acotadaspor una constante K > 0. Luego, si la serie

∑

n Xn es c.s. convergente, entonces la serie∑

n V ar(Xn) es convergente.

Demostracion. Consideremos el evento En = |S1| ≤ C, . . . , |Sn| ≤ C. Necesariamente,existe un C > 0 y un δ > 0 tal que P (En) ≥ δ para todo n. Por otra parte

∫

En−1

S2ndP =

∫

En−1

(S2n−1 + X2

n)dP ≥

∫

En−1

Sn−1dP + δV ar(Xn).

Ademas

∫

En−1

S2ndP ≤

∫

En

S2ndP + P (En−1 ∩ Ec

n)(C + K)2.

De aquı deducimos que

∞∑

k=1

V ar(Xn) ≤1

δ2(C2 + (ǫ + K)2).

Teorema 2.21. (Teorema de las tres series de Kolmogorov). Sea Xn : n ≥ 1 unasucesion de variables aleatorias independientes. Luego las siguientes afirmaciones son equiva-lentes.

1. La serie∑

n Xn converge casi seguramente.

2. Existe una constante K > 0 tal que la siguientes tres series convergen,

∑

n

P (|Xn| > K),

∑

n

E(Xn1|Xn|≤K),

38 CAPITULO 2. LEY DE LOS NUMEROS GRANDES

y

∑

n

V ar(Xn1|Xn|≤K).

Demostracion. Supongamos que la serie∑

n Xn converge casi seguramente. Por la segundaparte del lema de Borel-Cantelli se tiene que necesariamente la primera serie es convergente.Ademas, casi seguramente existe un N tal que |Xn| ≤ K para n ≥ N . Luego se tiene que

∑

n Yn

converge c.s. donde Yn = Xn1|Xn|≤K . Consideremos ahora para cada n, variables aleatoriasindependientes Y ′

n con la misma ley que Yn. Claramente, la serie∑

n(Yn − Y ′n) converge c.s.

Por el lema anterior, la serie∑

n V ar(Yn − Y ′n) converge. Pero V ar(Yn − Y ′

n) = 2V ar(Yn).Luego, la serie

∑

n V ar(Yn) es convergente. Por el teorema de una serie de Kolmogorov, la serie∑

n(Yn − E(Yn) es c.s. convergente. Por lo tanto∑

n E(Yn) es convergente.

Ahora supongamos que las tres series convergen. Por el teorema de una serie de Kolmo-gorov, la convergencia de la tercera serie implica que

∑

n(Yn − E(Yn) es convergente c.s. Laconvergencia de la segunda serie implica entonces que

∑

n Yn es c.s. convergente. Finalmente,la primera parte del lema de Borel-Cantelli y la convergencia de la primera serie implica que∑

n Xn es convergente.

El teorema de una serie de Kolmogorov puede ocuparse para probar que la serie

∞∑

n=1

cnsin(2πnt)

n,

donde cn son variables aleatorias normales centradas de varianza 1, es c.s. convergente. Enrealidad, el lımite es lo que se conoce como movimiento browniano.

2.4. Ley fuerte de los numeros grandes

Tenemos ahora todas las herramientas para demostrar la ley fuerte de los numeros grandes.Comenzaremos con un primer lema sobre sucesiones reales que se puede probar ocupando sumapor partes.

Lema 2.22. Consideremos una sucesi’on real xn : n ≥ 1 tal que

∞∑

n=1

xn

n

converge. Luego

lımn→∞

1

n

n∑

k=1

xk = 0.

Teorema 2.23. (Ley fuerte de los numeros grandes). Sea Xn : n ≥ 1 una sucesion devariables aleatorias i.i.d. centradas e integrables. Luego

lımn→∞

∑nk=1 Xk

n= 0.

2.4. LEY FUERTE DE LOS NUMEROS GRANDES 39

Demostracion. Para cada n consideremos la variable aleatoria Yn = Xn1|Xn|≤n. Notemosque

∑∞n=1 V ar((Yn/n)2) ≤

∑∞n=1 E((Yn/n)2)

=∑∞

n=1

∫

|x|≤nx2

n2 dFX1=∫

x2∑

n≥|x|1n2 dFX1

≤ KE|X|.

Por el teorema de una serie de Kolmogorov, esto implica que

∞∑

n=1

Yn − E(Yn)

n

converge c.s. Ahora,

∞∑

n=1

P (Xn 6= Yn) =∞∑

n=1

P (|Xn| > n) < ∞.

Luego, por el lema de Borel-Cantelli, la serie

∞∑

n=1

Xn − E(Yn)

n

converge c.s. Por el lema anterior esto implica que

lımn→∞

1

n

n∑

k=1

(Xk − E(Yk))

tiende a 0 c.s. Pero lımn→∞ E(Yn) = 0, lo que demuestra el teorema.

Terminamos esta seccion con una aplicacion. Dada una sucesion de variables aleatorias i.i.d.Xn definimos la funcion de distribucion empırica de los primeros n terminos por

Fn(x) :=1

n

n∑

k=1

1(−∞,x](Xk).

Teorema 2.24. (Teorema de Glivenko-Cantelli). Sea Xn una sucesion de variablesaleatorias i.i.d. Luego la funcion de distribucion empırica de los primeros n terminos convergec.s. a la funcion de distribucion de X1.

Demostracion. Por la ley fuerte de los numeros grandes es obvio que para cada x tenemosque c.s.

lımn→∞

|Fn(x) − FX1(x)| = 0.

Luego, podemos elegir una coleccion finita de puntos x1, . . . , xN tales que F (x1) ≤ ǫ, F (xN ) ≥1 − ǫ, F (xj+1) − F (xj) ≤ ǫ y c.s.

lımn→∞

sup1≤j≤N

|Fn(xj) − FX1(xj)| = 0.

Es facil ver ocupando la monotonıa de FX1y Fn que esto implica el teorema.