Infer ncia Bayesiana - Aula 1mbranco/Aula1_IB2014.pdfM´arcia D’Elia Branco Inferˆencia Bayesiana...

IntroducaoPrincıpios da IB

Inferencia Bayesiana - Aula 1 -

Marcia D’Elia Branco

Universidade de Sao PauloInstituto de Matematica e Estatıstica

www.ime.usp.br/ mbranco - sala 295-A -

Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -


Paradigmas Bayesiano

Fazer inferencia e usar a informacao para reduzir a incertezasobre um objeto em estudo.





Existe duas fontes de informacao: amostral (associado aoexperimento) e conhecimentos previos (sua experiencia devida)






A incerteza a respeito de tudo o que e desconhecido deve sertraduzida por uma medida de probabilidade.







Interpretacoes subjetiva ou logica de probabilidade.







Interpretacoes subjetiva ou logica de probabilidade.

Probabilidade como uma medida pessoal de incerteza, naocomo o limite da frequencia relativa (postura classica).



Comparacao com a inferencia classica

Na escola Bayesiana cada observacao e unica.





A escola Classica e baseada na possibilidade de repetir

experimentos sob as mesmas condicoes.







Exemplo 1: Interpretacao da medida de probabilidade.EC: Se lancamos n vezes a mesma moeda sob as mesmascondicoes e calculamos a frequencia relativa do numero de caras,este valor se estabilizara em 1/2 (limite da frequencia relativa).







Exemplo 1: Interpretacao da medida de probabilidade.EC: Se lancamos n vezes a mesma moeda sob as mesmascondicoes e calculamos a frequencia relativa do numero de caras,este valor se estabilizara em 1/2 (limite da frequencia relativa).EB: Para voce a credibilidade na ocorrencia de cara e a mesmaque na nao ocorrencia. Se voce tiver que apostar contra umoponente no resultado da moeda (cara) devera apostar 1 contra 1.Entao Prob(cara) = 1/2.




Exemplo 2: Faz sentido utilizar toda a informacao disponıvel ousomente a amostral e relevante?





Voce deseja inferir sobre a capacidade de uma pessoa acertarresultados. Apresentam-se para o teste

∗ um especialista em musica que diz ser capaz de diferir asmusicas de Haydn e Mozart.

∗ um bebado que diz ser capaz de acertar os resultados nolancamento de uma moeda.





Voce deseja inferir sobre a capacidade de uma pessoa acertarresultados. Apresentam-se para o teste

∗ um especialista em musica que diz ser capaz de diferir asmusicas de Haydn e Mozart.

∗ um bebado que diz ser capaz de acertar os resultados nolancamento de uma moeda.

Se ambos sao submetidos a dez provas e acertam todas elas, entao

sua inferencia baseada nos dados e a mesma. Sera razoavel?



Motivacao: Estudo da maturidade sexual do peixe-galo.

Em estudos de populacao de peixes os cientistas estaointeressados na relacao entre o tamanho e a maturidadesexual da femea de uma determinada especie de peixe. Ointeresse e determinar o tamanho em que cerca de 50 % dasfemeas alcancam a maturidade sexual, denominado tamanho

de maturacao.

Os dados na Tabela 1 representam o tamanho e a maturidadesexual de 17 femeas capturadas na costa sul do Brasil.

Considere yi o numero de femeas maduras e ni o numerototal de femeas. pi e a probabilidade de que uma femea naclasse i esteja madura.




Tabela 1: Numero de femeas maduras por tamanho.Comprimento (cm) Total Maduras

10 - 20 3 020 - 30 5 130 - 40 4 340 - 70 5 5

Suponha yi uma Binomial(ni, pi) com pi a probabilidade de queuma femea na classe i esteja madura. xi e o ponto medio daclasse i. O modelo logıstico e dado por

log

(

pi

1 − pi

)

= β0 + β1(xi − x)




A quantidade principal de interesse e

LT50 = −β0

β1+ x,

obtida quando substitui-se pi por 0.5.




A quantidade principal de interesse e

LT50 = −β0

β1+ x,

obtida quando substitui-se pi por 0.5.

A analise Bayesiana resulta na obtencao da distribuicao deprobabilidade associada a LT50.

Esta distribuicao de probabilidade representa a incerteza aposterior sobre a quantidade de interesse.

A partir da distribuicao a posterior, pode-se obter umaestimacao pontual igual a 28 cm e um intervalo, deprobabilidade 0.95, igual a (22.65 ; 35.25).




LT50 depende de dois parametros desconhecidos β0 e β1, osquais tambem possuem uma distribuicao de probabilidade aposterior.

Iniciamos com uma medida de probabilidade a priori

f(β0, β1), por exemplo, normal bivariada.







Para obter a medida a posterior utilizamos a formula de Bayes

f(β0, β1 | y) =f(y | β0, β1)f(β0, β1)

f(y),

onde f(y | β0, β1) e a probabilidade conjunta de y1, y2, . . . , yk

supondo os parametros conhecidos. No nosso caso, estaprobabilidade e o produto de binomias.







Para obter a medida a posterior utilizamos a formula de Bayes

f(β0, β1 | y) =f(y | β0, β1)f(β0, β1)

f(y),

onde f(y | β0, β1) e a probabilidade conjunta de y1, y2, . . . , yk

supondo os parametros conhecidos. No nosso caso, estaprobabilidade e o produto de binomias.

A quantidade f(y) e a distribuicao marginal e e obtida pelaintegracao do numerador. Nao existe solucao analıtica ealgoritmos numericos sao necessarios.




Sob a abordagem classica os parametros podem ser estimadosutilizando-se os estimadores de maxima verossimilhanca e ateoria assintotica normal.

As estimativas pontuais, e por intervalo, de maximaverossimilhanca de β1 sao 0.266 e (-00188 ; 0.5526), comconfianca de 95 % .






Sob a abordagem Bayesiana, o intervalo de credibilidade e(0.112 ; 0.795), com probabilidade 95 %.







Esta diferenca justifica-se pela assimetria observada nadistribuicao a posteriori.







Esta diferenca justifica-se pela assimetria observada nadistribuicao a posteriori.

Enquanto que o intervalo classico indica que β1 pode ser zero,a distribuicao a posteriori indica claramente um valor positivo.



O modelo parametrico probabilıstico.

Uma medida de probabilidade P e definida em um espaco(X ,A), onde A e uma sigma algebra de elementosmensuraveis.





Um espaco parametrico estatıstico e um conjunto (famılia) demedidas de probabilidade, associadas a um vetor aleatorio X,indexadas por um parametro θ,

(X ,A, Pθ), ∀θ





Um espaco parametrico estatıstico e um conjunto (famılia) demedidas de probabilidade, associadas a um vetor aleatorio X,indexadas por um parametro θ,

(X ,A, Pθ), ∀θ

Sob o ponto de vista Bayesiano e preciso definir uma medidade probabilidade a prior para θ,

(Θ,B, π)



O modelo parametrico binomial.

Sob certas suposicoes, e possıvel definir uma medida deprobabilidade conjunta para X e θ .

Usa-se a formula de Bayes para obter a medida deprobabilidade condicional de θ dado o resultado da amostraX = x




Sob certas suposicoes, e possıvel definir uma medida deprobabilidade conjunta para X e θ .

Usa-se a formula de Bayes para obter a medida deprobabilidade condicional de θ dado o resultado da amostraX = x

Exemplo 1: O modelo binomial.X | θ, n ∼ Bin(n, θ) , 0 < θ < 1 e n inteiro.Suponha n conhecido, e preciso definir uma medida deprobabilidade para θ.Prior 1:

θ 0.25 0.50 0.75

f(θ) 0.25 0.50 0.25



O modelo parametrico binomial

A medida de probabilidade a posterior e

f(θ | x) =f(θ)Cn,x(θ)x(1−θ)n−x

f(x) ,

com f(x) =∑

θ

f(θ)Cn,x(θ)x(1 − θ)n−x.



O modelo parametrico binomial

A medida de probabilidade a posterior e

f(θ | x) =f(θ)Cn,x(θ)x(1−θ)n−x

f(x) ,

com f(x) =∑

θ


Para n = 2 a posterior e

θ 0.25 0.50 0.75

f(θ | x = 0) 0.500 0.440 0.060

f(θ | x = 1) 0.214 0.572 0.214

f(θ | x = 2) 0.060 0.440 0.500




Prior 2: θ ∼ Beta(a, b). Entao sua funcao de densidade e

f(θ) =Γ(a + b)

Γ(a)Γ(b)θa−1(1 − θ)b−1 , a > 0 b > 0.





f(θ) =Γ(a + b)

Γ(a)Γ(b)θa−1(1 − θ)b−1 , a > 0 b > 0.

Para obter a marginal f(x) integra-se em θ

f(x) =

1∫

0






f(θ) =Γ(a + b)

Γ(a)Γ(b)θa−1(1 − θ)b−1 , a > 0 b > 0.

Para obter a marginal f(x) integra-se em θ

f(x) =

1∫

0


Observe que nao ha necessidade de preocupar-se com a constantepois

f(θ | x) =θa+x−1(1 − θ)b+n−x−1

1∫

0

(θ)a+x(1 − θ)b+n−x−1




E facil obter a distribuicao a posteriori

θ | x ∼ Beta(a + x, b + n − x).





θ | x ∼ Beta(a + x, b + n − x).Se as distribuicoes a priori e a posteriori estao na mesma classe dedistribuicoes, falamos de conjugacao.






Como escolher a e b ?

Se a = b temos uma distribuicao simetrica.








Se a = b = 1 temos uma uniforme.








Se a = b = 1 temos uma uniforme.

A media e a variancia a priori saoE[θ] = a

a+b

V ar[θ] = ab(a+b)2(a+b+1)

.

A media a posteriori eE[θ | x] = a+x

a+b+n= ω x

n+ (1 − ω)E[θ] com w = n

a+b+n.



Exemplo simulado: Efeito do tamanho amostral.

Suponha que o verdadeiro valor de θ = 0.6 e que escolhemos a

priori θ ∼ Beta(5, 45). Note que nossa inferencia a priori estamuito longe do verdadeiro θ pois E(θ) = 0.1. Suponha tambemque simulamos amostras de diferentes tamahnos(n = 5, 100, 1000, 10000) de uma Bernoulli(0.6) e que observamos60% de sucessos em todas as amostras.

Tabela: Medias a posteriori

n Distr. Post. E(θ) EMV ω E(θ | x)5 Beta(8, 47) 0.1 0.6 0.0909 0.1454

100 Beta(65, 85) 0.6667 0.43341000 Beta(605, 445) 0.9524 0.576210000 Beta(6005, 4045) 0.9950 0.5975



Exemplo simulado: Efeito do tamanho amostral.

Figura: Distribuicoes a posteriori

0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7

020

4060

80

θ

Den

sity

Priorin=5n=100n=1000n=10000



Exemplo simulado: Efeito da distribuicao a priori 1

Suponha que o verdadeiro valor de θ = 0.6 e que escolhemosdistintas distribuicoes a priori para θ. Suponha tambem quesimulamos uma amostra de tamanho n = 5 de uma Bernoulli(0.6)e observamos 60% de sucessos na amostra gerada.


Distr. Priori Distr. Post. E(θ) EMV 1 − ω E(θ | x)Beta(1, 1) Beta(4, 3) 0.5 0.6 0.2857 0.5714Beta(5, 5) Beta(8, 7) 0.6667 0.5333Beta(5, 45) Beta(8, 47) 0.1 0.9091 0.1454Beta(1, 9) Beta(4, 11) 0.6667 0.2666



Exemplo simulado: Efeito da distribuicao a prior 2

Suponha que o verdadeiro valor de θ = 0.5 e que escolhemosdistintas distribuicoes a priori para θ. Suponha tambem quesimulamos uma amostra de tamanho n = 10 de uma Bernoulli(0.5)e que observamos 6 sucessos na amostra gerada.


Distr. Priori Distr. Post. E(θ) EMV 1 − ω E(θ | x)Beta(1, 1) Beta(7, 5) 0.5 0.6 0.1667 0.5833

Beta(50, 50) Beta(56, 54) 0.9091 0.5090Beta(1, 9) Beta(6.1, 6.4) 0.1 0.0909 0.5545Beta(5, 45) Beta(11, 49) 0.8334 0.1833



Exemplo simulado: comentarios

∗ A distribuicao a priori influencia a inferencia a posteriori.Portanto, ela deve traduzir adequadamente o conhecimentoprevio sobre θ (pre-amostral).





∗ As distribuicoes a priori pouco informativas nem sempreconduzem a inferencias melhores.





∗ As distribuicoes a priori pouco informativas nem sempreconduzem a inferencias melhores.

∗ A distribuicao a priori e dominada pelos dados se

+ a amostra e grande,+ a distribuicao a priori e pouco informativa.



Princıpios da IB

⋆ O Princıpio da Verosimilhanca(PV)

Toda a informacao a respeito do parametro de interesse θproporcionada pela amostra x esta contida na funcao de

verosimilhanca.



Princıpios da IB



verosimilhanca.

Princıpio Fraco: considere x , x∗ ∈ X ef(x | θ) = K(x, x∗)f(x∗ | θ), ∀θ ∈ Θ, onde K(x, x∗) naoenvolve θ. Entao, inferencias para θ obtidas via x ou x∗

devem ser identicas.



Princıpios da IB



verosimilhanca.

Princıpio Fraco: considere x , x∗ ∈ X ef(x | θ) = K(x, x∗)f(x∗ | θ), ∀θ ∈ Θ, onde K(x, x∗) naoenvolve θ. Entao, inferencias para θ obtidas via x ou x∗

devem ser identicas.

Princıpio Forte: considere x ∈ X com f.d.p. fX(x | θ) ey ∈ Y com f.d.p. fY (y | θ), com um espaco de parametros Θem comum. Se f(x | θ) = K(x, y)f(y | θ), ∀θ ∈ Θ, entaosao identicas as inferencias para θ obtidas via x ou y.



O Princıpio da Verosimilhanca(PV)

Exemplo 1: Lancamento de uma moeda, onde θ e a probabilidadede corona. Resultado experimental:

{C, C, C, C, C, C, C, C, C, C, C, C}





{C, C, C, C, C, C, C, C, C, C, C, C}

Regras de Paradas:

(i) Lancar a moeda 12 vezes.





{C, C, C, C, C, C, C, C, C, C, C, C}

Regras de Paradas:


(ii) Lancar a moeda ate obter 3 caras.





{C, C, C, C, C, C, C, C, C, C, C, C}

Regras de Paradas:



(iii) Lancar a moeda ate que o lancador esteja saturado.





{C, C, C, C, C, C, C, C, C, C, C, C}

Regras de Paradas:



(iii) Lancar a moeda ate que o lancador esteja saturado.

Em qualquer das situacoes a verosimilhanca e proporcional a

θ9(1 − θ)3

Se X e o numero de coroas, entao x = 9.




Se queremos testar

H0 : θ = 1/2 versus H1 : θ > 1/2.

Vamos calcular o P-valor




Se queremos testar

H0 : θ = 1/2 versus H1 : θ > 1/2.


(i) X | θ ∼ B(12, θ).P1 = P (X ≥ 9 | θ = 1/2) = C12,9(1/2)12 + C12,10(1/2)12 +C12,11(1/2)12 + C12,12(1/2)12 = 0, 075.




Se queremos testar

H0 : θ = 1/2 versus H1 : θ > 1/2.


(i) X | θ ∼ B(12, θ).P1 = P (X ≥ 9 | θ = 1/2) = C12,9(1/2)12 + C12,10(1/2)12 +C12,11(1/2)12 + C12,12(1/2)12 = 0, 075.

(ii) X | θ ∼ BN(3, 1 − θ).P2 = P (X ≥ 9 | θ = 1/2) =C11,9(1/2)12 + C12,10(1/2)13 + C13,11(1/2)14 + · · · = 0, 0325.




Se queremos testar

H0 : θ = 1/2 versus H1 : θ > 1/2.


(i) X | θ ∼ B(12, θ).P1 = P (X ≥ 9 | θ = 1/2) = C12,9(1/2)12 + C12,10(1/2)12 +C12,11(1/2)12 + C12,12(1/2)12 = 0, 075.

(ii) X | θ ∼ BN(3, 1 − θ).P2 = P (X ≥ 9 | θ = 1/2) =C11,9(1/2)12 + C12,10(1/2)13 + C13,11(1/2)14 + · · · = 0, 0325.

Para α = 0.05, H0 nao e rejeitada no primeiro caso, mas erejeitada no segundo. Esta decisao viola o PV .Usualmente o T.H. classico viola o PV.



Princıpios da suficiencia e da condicionalidade.

Princıpio da suficiencia: Seja T (X) uma estatısticasuficiente para θ, x e x∗ dois resultados amostrais. SeT (x) = T (x∗) entao, as inferencias sobre θ baseadas em x oux∗ devem ser identicas.




Princıpio da suficiencia: Seja T (X) uma estatısticasuficiente para θ, x e x∗ dois resultados amostrais. SeT (x) = T (x∗) entao, as inferencias sobre θ baseadas em x oux∗ devem ser identicas.

Princıpio da condicionalidade: E e um experimentodefinido como uma mistura de experimentos Ej , j = 1, . . . , mescolhidos com probabilidades Pj . Se apenas um ocorre,entao as inferencias (decisoes) devem basear-se unicamenteno experimento realizado. Experiencias nao realizadas saoirrelevantes para a inferencia estatıstica.




Exemplo 2: Dois laboratorios sao candidatos para analise de umasubstancia: Fleury e Lavoisier.A escolha e feita via lancamento de uma moeda, e o Fleury foiescolhido.O resultado deve depender dos possıveis resultados que se obteriase o Lavoisier tivesse sido escolhido?





Teorema de Birnbaum: Os princıpios da condicionalidade esuficiencia juntos sao equivalentes ao princıpio de verossimilhanca.





Teorema de Birnbaum: Os princıpios da condicionalidade esuficiencia juntos sao equivalentes ao princıpio de verossimilhanca.

⋆ A ideia de permutabilidade.Motivado pela incongruencia do conceito de independencia quandoθ e desconhecido, um conceito mais fraco e mais facil de seobservar e introduzido.



Permutabilidade e Independencia.

Permutabilidade: Um conjunto finito de variaveis aleatoriasX1, . . . , Xn e permutavel se

f(x1, . . . , xn) = f(xπ(1), . . . , xπ(n))

para qualquer permutacao {π(1), . . . , π(n)} do conjunto{1, 2, . . . , n}.Um conjunto infinito e permutavel se cada subconjunto finito epermutavel.




Permutabilidade: Um conjunto finito de variaveis aleatoriasX1, . . . , Xn e permutavel se

f(x1, . . . , xn) = f(xπ(1), . . . , xπ(n))

para qualquer permutacao {π(1), . . . , π(n)} do conjunto{1, 2, . . . , n}.Um conjunto infinito e permutavel se cada subconjunto finito epermutavel.

Exemplo 3: Duas urnas com bolas brancas e pretas.Urna 1: 6 bolas brancas e 4 pretas.Urna 2: 4 bolas brancas e 6 pretas.Escolhe-se uma urna ao acaso, com probabilidade 1/2, e retira-sebolas sucessivamente com reposicao.




Xi = 1 se a i-esima bola e brancaXi = 0 se a i-esima bola e preta.Supondo permutabilidade, para n=2, temos

P (X1 = 0, X2 = 1) = P (X1 = 1, X2 = 0)

isto e, a probabilidade nao depende da ordem. E razoavel?





P (X1 = 0, X2 = 1) = P (X1 = 1, X2 = 0)


E razoavel supor independencia?

- Se observamos 59 bolas brancas e 41 pretas, a probabilidade deobservar branca na retirada 101 nao deve depender desteresultado?





P (X1 = 0, X2 = 1) = P (X1 = 1, X2 = 0)


E razoavel supor independencia?

- Se observamos 59 bolas brancas e 41 pretas, a probabilidade deobservar branca na retirada 101 nao deve depender desteresultado?- Se observamos 40 brancas e 60 negras devemos ter o mesmovalor de probabilidade?



Teorema de Representacao de Bruno de Finetti.

Teorema de Representacao:Se X1, X2, . . . e uma sequencia infinita de variaveis aleatoriaspermutaveis com valores em {0, 1}, entao para qualquer n inteiroexiste uma funcao de distribuicao de probabilidade H de talmaneira que

f(x1, . . . , xn) =

1∫

0

n∏

i=1

θxi(1 − θ)1−xidH(θ),

onde H(θ) = limn→∞

P (Sn

n≤ θ), com Sn = X1 + · · · + Xn e

θ = limn→∞

Sn

n.




Exemplo 4:Evento credibilidade probabilidade dado θ

AAA a θ3

AAA b θ2(1 − θ)AAA b θ2(1 − θ)AAA b θ2(1 − θ)AAA c θ(1 − θ)2

AAA c θ(1 − θ)2

AAA c θ(1 − θ)2

AAA d (1 − θ)3




Exemplo 4:Evento credibilidade probabilidade dado θ

AAA a θ3

AAA b θ2(1 − θ)AAA b θ2(1 − θ)AAA b θ2(1 − θ)AAA c θ(1 − θ)2

AAA c θ(1 − θ)2

AAA c θ(1 − θ)2

AAA d (1 − θ)3

Entao existe uma distribuicao de probabilidade comE[θ3] = a, E[θ2 − θ3] = b e E[θ − 2θ2 + θ3] = c.Portanto E[θ2] = a + b e E[θ] = a + 2b + c.




Resulta do teorema que

Xi, i = 1, 2, . . . sao v.a. Bernoulli, condicionalmenteindependentes dado θ.






θ e uma v.a. com distribuicao a priori H(θ).






θ e uma v.a. com distribuicao a priori H(θ).

Pela lei forte dos grandes numeros, θ e o limite da frequenciarelativa de sucessos.



Referencias.

Kinas, P.G. e Andrade, H.A. (2010). Introducao a analisebayesiana (com R). Editora: maisQnada.

Loschi, R. (2013). Estadıstica Bayesiana algunos de suaaspectos. Minicurso no Congreso Anual de la SociedadArgentina de Estadıstica, Mendoza

Migon, H and Gamerman, D. (1999). Statistical Inference:An integrated approach. Chapman and Hall/CRC.

Paulino, D. , Turkman, M.A. e Murteira, B. (2003).Estatıstica Bayesiana. Fundacao Calouse Gulbenkian - Lisboa.


Infer ncia Bayesiana - Aula 1mbranco/Aula1_IB2014.pdfM´arcia D’Elia Branco Inferˆencia Bayesiana...

Documents

Transcript of Infer ncia Bayesiana - Aula 1mbranco/Aula1_IB2014.pdfM´arcia D’Elia Branco Inferˆencia Bayesiana...