Incorporando Informa˘c~oes de Covari aveis para Explicar a ...

Incorporando Informacoes de Covariaveis

para Explicar a Habilidade dos Indivıduos

no Modelo de Teoria de Resposta ao Item

Sheila Klem Rodrigues das Neves

Universidade Federal do Rio de Janeiro

Instituto de Matematica

Departamento de Metodos Estatısticos

18 de Dezembro de 2012

Resumo

A Teoria de Resposta ao Item (TRI) e uma ferramenta estatıstica, em geral aplicada a

dados de educacao, utilizada com o objetivo principal de estimar proficiencias individuais,

incluindo situacoes nas quais os indivıduos sao comparados com base em testes com

questoes diferentes. Essa teoria e composta por modelos matematicos, onde conseguimos

explicar a variavel latente, a habilidade, que e uma variavel nao observavel diretamente,

partindo de caracterısticas dos itens que compoem o questionario.

Neste trabalho, propomos uma generalizacao do modelo logıstico de tres parametros

da TRI para permitir explicar parte da variacao observada nas habilidades atraves de

covariaveis. Em nossa proposta modelamos o logaritmo das habilidades dos indivıduos

por uma estrutura de regressao linear. Diferencas regionais podem tambem influenciar

no desempenho dos indivıduos. Para contornar esse problema propomos a inclusao de

uma estrutura espacial no modelo.

Aplicamos o modelo a dados referentes a prova de Matematica do Saeb (Sistema de

Avaliacao da Educacao Basica) aplicada aos alunos do 3o ano do Ensino Medio no ano

de 2005. Utilizamos como variaveis explicativas da habilidade informacoes contidas em

um questionerio socio-economico que foi aplicado a esses alunos. Em um dos modelos

propostos, o Estado de residencia do aluno foi levado em consideracao com a inclusao de

uma componente espacial no modelo.

Trabalhamos sob o ponto de vista Bayesiano para fazer inferencia e utilizamos o

metodo de MCMC para estimar os parametros dos modelos propostos.

Palavras-chave: Teoria de Resposta ao Item, Modelos com estrutura espacial, In-

ferencia Bayesiana, Regressao.

ii

Sumario

1 Introducao 1

2 Revisao Metodologica: Teoria de Resposta ao Item (TRI) 6

2.1 Introducao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2.2 Modelos para Itens Dicotomicos . . . . . . . . . . . . . . . . . . . . . . . 8

2.2.1 O Modelo Logıstico de Tres Parametros . . . . . . . . . . . . . . . 8

2.2.2 Outros Modelos Logısticos . . . . . . . . . . . . . . . . . . . . . . 11

2.2.3 Curva Caracterıstica do Item . . . . . . . . . . . . . . . . . . . . 11

2.2.4 Inferencia Bayesiana para os modelos de TRI . . . . . . . . . . . 14

2.2.5 DIF – Funcionamento Diferencial do Item . . . . . . . . . . . . . 17

3 Modelagem Proposta 21

3.1 Modelo 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

3.2 Modelo 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

4 Estudos Simulados 26

4.1 Simulacao de dados do Modelo 1 . . . . . . . . . . . . . . . . . . . . . . 26

4.2 Simulacao do Modelo 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

5 Saeb – Sistema Nacional de Avaliacao da Educacao Basica 40

5.1 Analise Exploratoria dos Dados . . . . . . . . . . . . . . . . . . . . . . . 42

5.2 Aplicacao dos modelos propostos . . . . . . . . . . . . . . . . . . . . . . 49

5.2.1 Aplicacao com o Modelo 1 . . . . . . . . . . . . . . . . . . . . . . 51

5.2.2 Aplicacao com o Modelo 2 . . . . . . . . . . . . . . . . . . . . . . 58

iii

6 Consideracoes Finais 66

iv

Lista de Tabelas

5.1 Coeficientes da regressao estimados e seus respectivos p-valores. . . . . . 49

v

Lista de Figuras

2.1 Curvas caracterısticas de varios itens . . . . . . . . . . . . . . . . . . . . 13

2.2 CCI do Modelo Logıstico de 2 parametros . . . . . . . . . . . . . . . . . 14

2.3 CCI do Modelo de Rasch . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

3.1 Grafico das prioris dos parametros b, ρ e log(ρj) do Modelo 1 . . . . . . 23

4.1 Histograma da soma dos escores simulados sob o Modelo 1 . . . . . . . . 27

4.2 Box-plot dos escores simulados com a covariavel X. . . . . . . . . . . . . 28

4.3 Intervalos de 95% de Credibilidade para o parametro ai, i = 1, . . . , I (Mo-

delo 1). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

4.4 Intervalos de 95% de Credibilidade para o parametro bi, i = 1, . . . , I (Mo-

delo 1). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

4.5 Intervalos de 95% de Credibilidade para o parametro ci, i = 1, . . . , I (Mo-

delo 1). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

4.6 Histograma da posteriori para o parametro α (Modelo 1). . . . . . . . . . 31

4.7 Intervalos de 95% de Credibilidade para os parametros θj, j = 1, . . . , 20

(Modelo 1). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

4.8 Intervalos de 95% de Credibilidade para os parametros ρj, j = 1, . . . , 20

(Modelo 1). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

4.9 Histograma dos acertos simulados sob o Modelo 2. . . . . . . . . . . . . . 33

4.10 Box-plot dos escores simulados para X=0 e X=1. . . . . . . . . . . . . . 34

4.11 Media dos escores simulados por Estado do Brasil. . . . . . . . . . . . . . 35

4.12 Intervalos de 95% de Credibilidade para o parametro ai, i = 1, . . . , I (Mo-

delo 2). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

vi

4.13 Intervalos de 95% de Credibilidade para o parametro bi, i = 1, . . . , I (Mo-

delo 2). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

4.14 Intervalos de 95% de Credibilidade para o parametro ci, i = 1, . . . , I (Mo-

delo 2). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

4.15 Histograma a posteriori do parametro α (Modelo 2). . . . . . . . . . . . . 37

4.16 Intervalos de 95% de Credibilidade para o parametro θj, j = 1, . . . , J (Mo-

delo 2). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

4.17 Intervalos de 95% de Credibilidade para o parametro ρj, j = 1, . . . , J (Mo-

delo 2). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

4.18 Mapa do Brasil com a componente espacial φ gerada e estimada. . . . . . 39

5.1 Box-Plot dos escores da prova de matematica por ano de nascimento. . . 43

5.2 Box-Plot dos escores da prova de matematica por rede de ensino. . . . . 44

5.3 Box-Plot dos escores da prova de matematica dos alunos que trabalham e

que nao trabalham. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

5.4 Box-Plot dos escores da prova de matematica dos alunos que moram com

a mae, sem a figura materna, e com outra mulher responsavel. . . . . . . 46

5.5 Box-Plot dos escores da prova de matematica dos alunos que moram com

seu pai, que moram sem a figura paterna e que moram com outro homem

responsavel. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

5.6 Media dos escores da prova de matematica para cada estado brasileiro. . 48

5.7 Resıduos do Modelo de Regressao para cada Estado brasileiro. . . . . . . 50

5.8 Intervalos de 95% de Credibilidade para o parametro ai, i = 1,. . . , I (Mo-

delo 1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

5.9 Intervalos de 95% de Credibilidade para o parametro bi, i = 1,. . . , I (Mo-

delo 1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

5.10 Intervalos de 95% de Credibilidade para o parametro ci, i = 1,. . . , I (Mo-

delo 1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

5.11 Histograma da posteriori para o parametro α1 (Modelo 1) . . . . . . . . 54


vii


5.14 Intervalos de 95 Credibilidade para os parametros θj, j = 1, . . . , J (Modelo

1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

5.15 Intervalos de 95% de Credibilidade para os parametros log(ρj), j = 1, . . . , J

(Modelo 1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

5.16 Intervalos de 95% de Credibilidade para os parametros ρj, j = 1, . . . , J

(Modelo 1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

5.17 Intervalos de 95% Credibilidade para o parametro ai, i = 1,. . . , I (Modelo 2) 59

5.18 Intervalos de 95% de Credibilidade o parametro bi, i = 1,. . . , I (Modelo 2) 60

5.19 Intervalos de 95% de Credibilidade para o parametro ci, i = 1,. . . , I (Mo-

delo 2) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60




5.23 Intervalos de 95% de Credibilidade para os parametros θj, j = 1, . . . , J

(Modelo 2) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

5.24 Intervalos de 95% de Credibilidade para os parametros log(ρj), j = 1, . . . , J

(Modelo 2) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

5.25 Intervalos de 95% de Credibilidade para os parametros ρj, j = 1, . . . , J

(Modelo 2). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

5.26 Mapa do Brasil com a componente espacial estimada . . . . . . . . . . . 65

viii

Klein e Fontanive (1995) Lord (1968) Baker (2001) Andrade (2000)

Soares (2005) Fragoso (2010) Alexandre e Araujo (2002) Angoff (1982)

Fox (2010) Saeb (2005) Beckman (2001) Natis (2001)

Hambleton e Rogers (1991) Lord (1952) Rasch (1960) Anastasi (1988)

Pasquali (2003) Gamerman (2006) Lord (1980) Raju (1988) Tay (2011)

Alves (2004) Goncalves (2006) Tay (2011)

Fox (2010) Lord (1968) Lord (1952) Rasch (1960) Birnbaum (1968) Santos (2009)

Andrade (2000) Nojosa (1997) May (2006)

Paez (2004) Cressie (1993) Vivar-Rojas (2004) Besag e Kooperberg (1995)

Natis (2001)

Gelfand (2003)

ix

Capıtulo 1

Introducao

Na sociedade moderna, o uso de questionarios em pesquisas, vagas de empregos e

em avaliacoes educacionais e muito frequente. Para avaliar polıticas educacionais e ate

em consultorios medicos, os questionarios sao uma grande ferramenta para conhecer os

indivıduos, entender um pouco de sua historia e de suas necessidades.

Em avaliacoes escolares, quando o professor elabora uma prova, um de seus objeti-

vos pode ser de detectar se existe algum conteudo que nao foi assimilado pelo aluno,

sinalizando a necessidade de retornar ao assunto, de maneira a conseguir alcancar as

dificuldades encontradas. Nas avaliacoes em larga escala (Klein e Fontanive, 1995), o

objetivo e o mesmo: perceber e identificar possıveis falhas no sistema educacional, na

administracao das escolas e ate problemas sociais, levando em consideracao informacoes

contidas em questionarios socio-economicos presentes nessas avaliacoes.

As respostas dessas avaliacoes podem ser estudadas e analisadas com base em duas

teorias de testes, a Teoria Classica dos Testes (TCT) (Lord, 1968) ou a Teoria de Res-

posta ao Item (TRI) (Baker, 2001). Atraves dessas teorias, somos capazes de obter uma

caracterıstica do indivıduo que mede a sua habilidade ou proficiencia no conteudo que

esta sendo avaliado.

A TCT possui algumas limitacoes teoricas. Por exemplo, na TCT os parametros dos

itens dependem da amostra de indivıduos utilizada para estabelece-los. Isto quer dizer

que o teste sera considerado facil ou difıcil dependendo da amostra de respondentes (An-

drade, 2000). Em contrapartida, na TRI, os parametros dos itens nao sofrem alteracoes

1

quando aplicados a diferentes amostras de indivıduos, dependendo unicamente dos itens,

e possibilitando a comparacao entre diferentes amostras de indivıduos. Nesse contexto,

a TRI vem ganhando espaco e e cada vez mais utilizada em avaliacoes educacionais de

larga escala (Andrade, 2000).

Atualmente, a Teoria de Resposta ao Item (TRI) tem sido muito empregada no Brasil

na producao de ındices de proficiencia para alunos que respondem a testes em avaliacoes

educacionais em larga escala. Andrade (2000) traz um exemplo pratico de aplicacao

em larga escala, em que sao analisados dados do Sistema de Avaliacao do Rendimento

Escolar do Estado de Sao Paulo (SARESP).

Embora a TRI seja abordada com maior frequencia em estudos de avaliacoes educaci-

onais, ela pode ser aplicada em areas bem diferenciadas, permitindo a construcao de indi-

cadores com diversas finalidades. Por exemplo, Soares (2005) emprega a TRI para compa-

rar tecnicas utilizadas na producao de indicadores de condicao socio-economica; Fragoso

(2010) apresenta uma aplicacao para diagnosticos de depressao atraves do Inventario de

Depressao de Beck (BDI); e Alexandre e Araujo (2002) propoem uma aplicacao com o

uso de Modelos da Teoria de Resposta ao Item para analisar as praticas da Gestao pela

Qualidade Total (GQT) como uma alternativa a Teoria Classica de Medida (TCM).

A Teoria de Resposta ao Item (TRI) e composta por modelos matematicos, onde

conseguimos explicar a variavel latente, a habilidade, que e uma variavel nao observavel

diretamente, partindo de caracterısticas dos itens que compoem o questionario. Essas

caracterısticas sao conhecidas como os parametros de item da modelagem. Nesses mo-

delos expressamos a probabilidade de um indivıduo responder corretamente a um item

em funcao de caracterısticas que esse item possui. Essas caracterısticas podem ser a difi-

culdade do item, a capacidade desse item em identificar indivıduos com maior ou menor

habilidade e a chance de acerto ao acaso do item.

Com o grande crecimento da utilizacao de questionarios em concursos, vagas de em-

prego, promocoes, avaliacoes educacionais e ate na area medica, tem sido cada mais

importante manter a imparcialidade dos testes. Na decada de 60 iniciou-se um estudo

sobre como as diferencas culturais podem influenciar no desempenho de grupos diferentes

de indivıduos. Desenvolveram-se estudos no sentido de investigar a afirmacao de que a

2

principal razao para a grande disparidade entre o desempenho de negros e hispanicos em

relacao aos brancos nos testes de habilidade e devido ao fato de eles conterem itens que

sao estranhos/alheios ao contexto das culturas minoritarias (Angoff, 1982). Surgiu daı

os modelos que consideram um Funcionamento Diferencial do Item (DIF - Differential

Item Functioning), para identificar que um item possui probabilidades estatısticas dife-

rentes de acerto segundo o grupo ao qual o respondente pertence. Segundo Hambleton

(1991) uma definicao comum entre os psicometristas e a seguinte: “...um item apresenta

DIF se indivıduos que tem a mesma habilidade, mas pertencem a diferentes grupos, nao

tem a mesma probabilidade de acertar o item”. Alguns trabalhos vem sendo realizados

usando essa metodologia do DIF com os Modelos da Teoria de Resposta ao Item (ver,

por exemplo, Alves (2004) e Goncalves (2006)).

No procedimento tradicional do DIF, diferencas entre os parametros dos itens sao tes-

tadas simultaneamente (Lord, 1980) ou examinados indiretamente atraves de diferencas

em funcoes de resposta ao item observada por grupo (Raju, 1988). Contudo, segundo

Tay at al (2011), essas abordagens sao limitadas pois: (a) caracterısticas multiplas nao

podem ser testadas para DIF simultaneamente; (b) caracterısticas contınuas nao podem

ser usadas diretamente, e (c) testar o DIF em grupos multiplos (> 2) requer em geral a

comparacao dos grupos 2-a-2. Para contornar tais problemas, Tay at al (2011) propoem

um modelo de mistura da TRI com a inclusao de covariaveis (MM-TRI-C), na qual co-

variaveis sao modeladas conjuntamente com os tracos latentes. Sendo assim, esse metodo

e capaz de acessar de forma mais precisa as causas do DIF.

Assim como Tay at al (2011) propomos um modelo cujo objetivo e detectar diferencas

em habilidades causadas por variaveis explicativas. Nossa proposta e investigar se exis-

tem fatores que afetam diretamente a vida dos alunos dificultando a obtencao de bons

resultados em avaliacoes e detectar alunos que tenham boa capacidade de aprendizagem

mesmo que estes nao tenham obtido um escore elevado. Com esse objetivo propomos

uma modelagem que possa ser capaz de captar algumas possıveis diferencas entre os alu-

nos/indivıduos, com a inclusao de covariaveis no Modelo da Teoria de Resposta ao Item

(MTRI). Nosso principal objetivo e de estimar nao apenas a habilidade, mas tambem o

que chamaremos “habilidade potencial”do indivıduo. Essa habilidade potencial e obtida

3

apos extrairmos o efeito de covariaveis e caracterısticas geograficas dos dados para possi-

bilitar uma comparacao mais justa entre o verdadeiro potencial dos candidatos. Entender

a relacao entre essas covariaveis e o desempenho dos alunos tambem e de nosso interesse.

Em nossa proposta modelamos o logaritmo das habilidades dos indivıduos por uma

estrutura de regressao linear (Fox, 2010), explicando parte da variabilidade das habili-

dades por covariaveis que fornecem caracterısticas socio-economicas dos indivıduos. Um

exemplo de covariavel pode ser o tipo de escola onde o indivıduo estuda ou estudou

(escola publica ou escola particular). Em media, os alunos provenientes de escolas par-

ticulares acalcam resultados melhores do que os alunos provenientes de escolas publicas.

Em um modelo de TRI usual, isso acarretaria em uma habilidade media estimada menor

entre os alunos de escola publica que entre os alunos de escola particular. A habilidade

potencial, entretanto, e estimada desconsiderando esse efeito, e sendo assim representa-

ria uma medida mais justa para, por exemplo, selecionar alunos para ingressar em uma

universidade. Diferencas regionais podem tambem influenciar no desempenho dos in-

divıduos. Para contornar esse problema propomos a inclusao de uma estrutura espacial

para explicar parte da variacao da habilidade potencial.

Trabalhamos com os dados referentes a prova de Matematica do Saeb (Sistema de

Avaliacao da Educacao Basica) no ano de 2005 aplicada aos alunos do 3o ano do En-

sino Medio. O Saeb e uma avaliacao em larga escala, com o objetivo de realizar um

diagnostico do sistema educacional brasileiro e de possıveis fatores que possam interferir

no desempenho do aluno, fornecendo um indicativo sobre a qualidade do ensino que e

ofertado. Alem de responder as questoes da provas, os alunos respondem a um ques-

tionario socio-economico, do qual podemos extrair covariaveis, tais como: se o aluno

estuda na rede publica ou privada, se o aluno trabalha, se o aluno mora na capital ou no

interior, se o aluno mora com os pais, e etc. Alem disso, temos a informacao do Estado

brasileiro no qual o aluno reside.

Esta dissertacao esta organizada da seguinte forma: no Capıtulo 2 apresentamos uma

revisao metodologica da TRI. Alem de relatar alguns aspectos historicos, descrevemos

os modelos para itens dicotomicos da TRI (Modelo Logıstico de 3 parametros, Modelo

Logıstico de 2 parametros e Modelo Logısticos de 1 parametro), apresentamos as Curvas

4

Caracterısticas do Itens (CCI) para esses modelos e o processo de Inferencia Bayesiana.

Ainda nesse capıtulo, discutimos o uso do DIF e suas aplicacoes. No Capıtulo 4, apre-

sentamos duas propostas de modelagem. O modelo 1 propoe explicar parte da variacao

das habilidades atraves de variaveis explicativas, e o modelo 2 e similar ao modelo 1 com

a inclusao de uma componente espacial para explicar variacoes das habilidades devido a

regiao de moradia do respondente. No capıtulo 5, apresentamos estudos simulados com

o objetivo de validar os modelos propostos no capıtulo anterior. No Capıtulo 6, apre-

sentamos o conjunto de dados do Saeb, incluindo analises exploratorias e a aplicacao da

modelagem proposta a esse conjunto de dados. Por fim, no Capıtulo 7, apresentamos as

consideracoes finais deste trabalho.

5

Capıtulo 2

Revisao Metodologica: Teoria de

Resposta ao Item (TRI)

2.1 Introducao

A Teoria de Resposta ao Item (TRI) surgiu na segunda metade do seculo XX, como

uma teoria capaz de analisar aspectos cognitivos (a capacidade de construir conheci-

mento) e psicometricos das pessoas, trazendo para o meio educacional uma nova meto-

dologia para medir o grau de proficiencia de um aluno. Segundo Fox (2010), um dos

primeiros modelos baseados em Inferencia Estatıstica para medidas educacionais e psi-

cologicas esta no classico livro de Lord (1968). Existe um consenso na literatura (ver

por exemplo Baker (2001) e Hambleton e Rogers (1991)) de que a Teoria de Resposta ao

Item surgiu formalmente com os trabalhos de Lord (1952) e Rasch (1960), sendo eles uns

dos primeiros autores a propor modelos estatısticos com parametrizacao para os itens

dos testes e metodos de estimacao para os parametros e para as proficiencias.

Inicialmente, em um contexto de testes para avaliacao educacional ou outra medida

dentro de um contexto psicometrico, os modelos associavam a uma unica variavel la-

tente contınua (nao observada) a probabilidade de acertar itens, podendo esta variavel

ser interpretada como a habilidade do indivıduo. Posteriormente, o modelo de dois

parametros foi proposto. Birnbaum (1968) propos uma maneira de especificar o modelo

de dois parametros utilizando a funcao logıstica pelo fato de ser uma funcao explıcita

6

dos parametros dos itens e da proficiencia. Com o passar dos anos, a Teoria de Resposta

ao Item foi sendo aprimorada. Atualmente muitas instituicoes de ensino vem adotando

tecnicas derivadas da TRI em suas avaliacoes internas, como por exemplo o Colegio Ad-

ventista de Itaboraı, que ja tem suas avaliacoes desenvolvidas segundo metodologias da

TRI.

Na pratica, a TRI consiste na analise das respostas de indivıduos a um determinado

questionario, e propoe que a probabilidade de um indivıduo dar a resposta correta a

um item especıfico leve em consideracao os tracos latentes de cada indivıduo (tambem

conhecidos como proficiencias ou habilidades) e caracterısticas do item respondido. Essa

teoria esta associada ao uso de modelos, que geralmente sao parametricos, onde os es-

forcos concentram-se em estimar a variavel latente, a partir de caracterısticas do item,

representadas pelos parametros do item. Resumindo, os Modelos de Resposta ao Item

consistem na representacao da probabilidade do indivıduo i responder corretamente ao

item j, em funcao dos parametros do item e do parametro da habilidade do indivıduo.

Esses modelos sao classificados de acordo com a natureza do item, que podem ser

dicotomicos, politomicos ou dissertativos. Os itens dicotomicos sao aqueles com respostas

do tipo certo ou errado, por exemplo os testes com questoes de multipla escolha. Os

itens policotomicos sao aqueles que possuem mais de duas categorias de respostas (nao

ordenadas ou nominais), tambem conhecidos como itens abertos. Tambem temos itens

dissertativos, conhecidos como itens de resposta contınua. Sua correcao e feita de forma

gradual.

Muitos estudos vem sendo desenvolvidos com os Modelos de TRI. Podemos citar, por

exemplo, o trabalho de Santos (2009), que propos um modelo para itens dicotomicos

com uma variacao no parametro de assimetria, Goncalves (2006) e Alves (2004) que

trabalharam com modelos que identificam e incorporam o DIF.

Outro aspecto que devemos considerar e a quantidade de tracos latentes (habilidades)

que estao sendo medidos. Quando o objetivo do modelo e medir um unico traco latente,

dizemos que esse modelo e unidimensional. Tambem pode haver variacoes com relacao

ao numero de populacoes envolvidas. O que e mais utilizado sao estudos feitos em

apenas uma populacao, a um grupo de respondentes. Segundo Andrade (2000) quando

7

falamos em um unico grupo de respondentes, nos referimos a uma amostra de indivıduos

retirada de uma mesma populacao. Podemos considerar exemplos que usualmente sao

considerados como populacoes distintas: series distintas (3a serie e 4a serie); perıodos

distintos (diurno e noturno); uma mesma serie, mas em anos distintos (3a serie de 1996

e 3a serie de 1997).

2.2 Modelos para Itens Dicotomicos

Nessa secao iremos introduzir os modelos probabilısticos que sao utilizados quando

as respostas ao teste sao dicotomicas, ou seja, do tipo certo ou errado. Essas respostas

podem ser obtidas a partir de itens de multipla escolha dicotomizados ou tambem a partir

de itens livres (resposta aberta) quando corrigidos de forma dicotomizada. Os modelos

que serao estudados a seguir sao unidimensionais, ou seja, iremos tratar os modelos que

consideram um unico traco latente (habilidade). Exemplos de modelos multidimensionais

para itens dicotomicos, medindo dois ou mais tracos latentes, podem ser vistos em Nojosa

(1997) e Andrade (2000).

Os itens possuem algumas caracterısticas importantes que podem ser relacionadas

diretamente com a probabilidade deles serem corretamente respondidos. Essas carac-

terısticas sao conhecidas como parametros dos itens, que podem ser incorporadas ao

modelo probabilıstico de interesse.

Na categoria de modelos unidimensionais para itens dicotomicos, os modelos mais

utilizados na pratica sao os modelos logısticos, que podem ter tres diferentes modelagens,

se diferenciando de acordo com a quantidade de parametros que sao utilizados para

descrever o item. A seguir sera apresentado o mais completo, o Modelo Logıstico de 3

parametros (ML3), sendo o Modelo Logıstico de 2 parametros (ML2) e o Modelo Logıstico

de 1 parametro (ML1) casos particulares.

2.2.1 O Modelo Logıstico de Tres Parametros

O Modelo Logıstico de 3 Parametros (ML3) e o modelo de resposta ao item mais utili-

zado atualmente para itens dicotomicos, sendo os modelos ML1 e ML2 casos particulares

8

deste.

O modelo ML3 consiste em descrever matematicamente a probabilidade de um in-

divıduo j responder corretamente a um determinado item i, como funcao da variavel

latente que esta associada ao indivıduo j e de tres parametros que representam carac-

terısticas do item i. Supoe-se que as respostas provenientes de indivıduos diferentes sao

independentes e que os itens sao respondidos de forma independente por cada indivıduo

(independencia local) dada sua habilidade (Andrade, 2001).

Seja yij uma variavel dicotomica, onde yij = 1 significa que o j-esimo indivıduo

respondeu corretamente ao item i e yij = 0 significa que o j-esimo indivıduo respondeu

incorretamente ao item i. Nessa expressao, o ındice i representa o item, onde I e o total

de itens respondidos, e o ındice j representa o indivıduo, de um total de J indivıduos

que responderam o questionario ou prova. A expressao matematica do ML3 pode ser

definida como:

p(yij = 1 | θj, β) = ci + (1− ci)1

1 + exp(−ai(θj − bi)), (2.1)

para i = 1, . . . , I, e j = 1, . . . , J . Dizemos que a = (a1, a2, . . . , aI), b = (b1, b2, . . . , bI) e

c = (c1, c2, . . . , cI) sao os parametros do item e θ = (θ1, θ2, . . . , θJ) sao os parametros do

indivıduo. Definimos β como a colecao de parametros do item, tal que β = (a, b, c).

A probabilidade do indivıduo j responder corretamente ao item i, ou seja, P (yij =

1 | θj, β) pode ser interpretada como a proporcao de respostas corretas ao item i dentre

todos os indivıduos da populacao com habilidade θj.

Os parametros do ML3

Vamos detalhar nessa subsecao a nomeclatura e a interpretacao de cada um dos

parametros do ML3 (2.1).

O parametros ai e o parametro do item que caracteriza o poder de discriminacao

do mesmo. Quando o valor de ai e baixo, indica que o item i possui pouco poder de

discriminacao, ou seja, alunos com habilidades bem diferentes podem ter aproximada-

mente a mesma probabilidade de acertar este item. Entao, quanto maior for o valor deste

parametro, maior sera a distincao feita entre os alunos com habilidades diferentes.

9

O parametro ci e o parametro do item que indica a probabilidade de um indivıduo

com habilidade muito baixa acertar o item, o que pode ser atribuıdo a uma casualidade.

Esse parametro e chamado de parametro de acerto casual, ou parametro de “chute”.

O parametro bi e o parametro do item que caracteriza a dificuldade do mesmo. bi

representa a habilidade necessaria que um indivıduo precisa ter para conseguir uma

probabilidade de acerto ao item i igual a 1+ci2

. Podemos interpretar que quanto maior o

valor do parametro bi, mais difıcil e o item i.

O parametro θj e o parametro do indivıduo que representa a habilidade (proficiencia)

do indivıduo j. Na maioria dos casos, esse e o parametro de interesse.

Teoricamente, o parametro de discriminacao do item e o parametro de dificuldade do

item, os parametros ai e bi respectivamente, podem assumir qualquer valor na reta real,

ou seja, qualquer valor entre −∞ e +∞. Contudo, e necessario definir uma escala para os

parametros com o objetivo de facilitar a interpretacao dos resultados. Para definir a escala

que sera utilizada no modelo, definimos uma escala para os parametros do indivıduo θ, e

com isso define-se tambem o espaco de variacao dos parametros dos itens. Usualmente,

a metrica utilizada para os parametros θj e a (0, 1). Define-se que o parametro θj tem a

distribuicao normal padronizada, com media igual a 0 e variancia igual a 1. Vale ressaltar

que outra escala pode ser utilizada sem interferir na interpretacao dos resultados, pois o

importante sao as relacoes dos valores obtidos para uma escala escolhida.

Com essa escala definida para o parametro θj, segundo Andrade (2000), o parametro

ai deve estar entre 0 e 2, observando que os valores mais apropriados para esse parametro

seriam aqueles maiores que 1. Valores negativos para o parametro ai nao sao esperados,

pois para ai negativo tem-se que a probabilidade do indivıduo acertar ao i-esimo item

aumenta a medida que a habilidade do indivıduo diminui.

O parametro bi, que representa a dificuldade do item i, deve estar entre −2 e +2

e esse parametro e medido na mesma unidade da habilidade. Quando temos θj = bi e

quando nao for permitido chutar, a probabilidade do indivıduo j acertar o item i e igual

a 0.5. Se a dificuldade do item e maior que a habilidade do indivıduo, as chances dele

acertar este item sao pequenas. Da mesma forma, se a dificuldade do item for menor que

a habilidade do indivıduo, as chances deste acertar o item sao grandes. Essa relacao pode

10

ser vista pelas Curvas Caracterısticas do Item, que serao apresentadas mais a frente.

O parametro ci e uma probabilidade, logo varia de 0 a 1, e depende do numero de

alternativas de cada item. Se o item possui cinco alternativas com apenas uma correta,

o parametro ci costuma valer 0.2, considerando que o indivıduo escolha aleatoriamente

uma das respostas.

2.2.2 Outros Modelos Logısticos

Considere a expressao do modelo logıstico de tres parametros descrito em 2.1. Agora

desconsidere a chance de acerto ao acaso, fazendo ci = 0 na expressao do ML3. Obtem-se

um caso particular do ML3, conhecido como Modelo Logıstico de dois parametros (ML2),

definido por:

p(yij = 1 | θj, β) =1

1 + exp(−ai(θj − bi)), (2.2)

para i = 1, . . . , I e j = 1, . . . , J .

Se alem de desconsiderarmos a chance de acerto ao acaso, supusermos que todos os

itens tem o mesmo poder de discriminacao, ou seja, ai = 1, i = 1, . . . , I, teremos um

terceiro modelo logıstico, conhecido como Modelo Logıstico de um parametro (ML1) ou

Modelo de Rasch, que e dado por:

p(yij = 1 | θj, β) =1

1 + exp(−(θj − bi)), (2.3)

para i = 1, . . . , I e j = 1, . . . , J .

O Modelo Logıstico de 1 parametros (ML1) ou Modelo de Rasch e um caso particular

do ML3, considerando ci = 0 e ai = 1, i = 1, . . . I.

2.2.3 Curva Caracterıstica do Item

A relacao existente entre a proporcao de respostas corretas para o item i dentre todos

os indivıduos com habilidade θj e os parametros do modelo, P (yij = 1 | θj, β), pode ser

11

representada graficamente atraves da chamada Curva Caracterıstica do Item (CCI). A

CCI e uma curva que modela a probabilidade de acerto de um item, sendo uma funcao

crescente na ordenada da habilidade.

O parametro ci representa na CCI uma assıntota inferior para a probabilidade de

resposta correta ao item i. Mesmo se o indivıduo apresentar baixa habilidade, a proba-

bilidade de que ele acerte a este item sera, no mınimo, o valor do parametro ci.

O parametro bi e definido como a habilidade necessaria para que um indivıduo obtenha

uma probabilidade de acerto igual ao ponto medio entre a menor probabilidade de acerto

(parametro ci) e a maior probabilidade de acerto (igual a 1), ou seja, e a habilidade

necessaria para que a probabilidade de acerto do ite i seja igual a 1+ci2

.

O parametro ai e proporcional a inclinacao da reta tangente a CCI no ponto de

inflexao da curva. Quanto maior a inclinacao dessa reta tangente, maior sera o valor do

parametro ai e maior sera a distincao feita entre os respondentes de baixa habilidade e

os de alta habilidade. Por isso, o parametro ai pode ser reconhecido e interpretado como

parametro de inclinacao do item i (Andrade, 2001).

Construımos alguns exemplos de curvas caracterısticas de itens com diferentes com-

binacoes de valores para os parametros ai, bi e ci. Esses exemplos podem ser observados

na Figura 2.1. O item 1a possui parametros a1a = 1, b1a = −1 e c1a = 0.2. O item 2a

possui parametros a2a = 1, b2a = 1 e c2a = 0.2. O item 3a possui parametros a3a = 2,

b3a = −1 e c3a = 0.2. O item 4a possui parametros a4a = 1, b4a = −1 e c4a = 0.5.

Os valores dos parametros do item 1a sao os mesmos do item 2a, exceto para o

parametro b, que mede a dificuldade do item. Comparando a CCI do item 1a com a do

item 2a, perbemos que de fato o item 2a e mais difıcil, havendo um deslocamento da

curva para a direita. Sendo assim, o aluno precisa ter uma habilidade maior para acertar

o item 2a com certa probabilidade, que para acertar o item 1a.

Os valores dos parametros do item 1a sao os mesmos do item 3a, exceto para o

parametro a, que mede a discriminacao do item. Comparando a CCI do item 1a com

a do item 3a, podemos perceber que de fato a CCI do item 3a possui inclinacao mais

acentuada. Note, por exemplo, que alunos com habilidade -1, possuem probabilidade 0.6

de acertar os itens 1a e 3a. Ja os alunos com habilidade 0, possuem maior probabilidade

12

Item 1a: a= 1 , b = −1 e c = 0.2

Habilidade

Pro

babi

lidad

e de

res

post

a ce

rta

−5 −3 −1 1 2 3 4 5

0.0

0.2

0.4

0.6

0.8

1.0

Item 2a: a= 1 , b = 1 e c = 0.2

Habilidade

Pro

babi

lidad

e de

res

post

a ce

rta

−5 −3 −1 1 2 3 4 5

0.0

0.2

0.4

0.6

0.8

1.0

Item 3a: a= 2 , b = −1 e c = 0.2

Habilidade

Pro

babi

lidad

e de

res

post

a ce

rta

−5 −3 −1 1 2 3 4 5

0.0

0.2

0.4

0.6

0.8

1.0

Item 4a: a= 1 , b = −1 e c = 0.5

Habilidade

Pro

babi

lidad

e de

res

post

a ce

rta

−5 −3 −1 1 2 3 4 5

0.0

0.2

0.4

0.6

0.8

1.0

Figura 2.1: Curvas caracterısticas de varios itens

de acerto no item 3a do que no item 1a, mostrando que o item 3a detecta melhor os

alunos com maior habilidade.

Os valores dos parametros dos itens 1a e 4a sao os mesmos, exceto para o parametro

c, que mede o acerto casual. Observe que o parametro c funciona como um limite inferior

para as probabilidades de acerto. No item 1a, os alunos possuem probabilidades de acerto

maiores que 0.2 e no item 4a os alunos possuem probabilidades de acerto maiores que

13

0.5, comportamento que independe de suas habilidades.

Item 1b: a= 2 e b = 1

Habilidade

Pro

babi

lidad

e de

res

post

a ce

rta

−5 −4 −3 −2 −1 0 1 2 3 4 5

0.0

0.2

0.4

0.6

0.8

1.0

Item 2b: a = 1.5 e b = −1

Habilidade

Pro

babi

lidad

e de

res

post

a ce

rta

−5 −4 −3 −2 −1 0 1 2 3 4 5

0.0

0.2

0.4

0.6

0.8

1.0

Figura 2.2: CCI do Modelo Logıstico de 2 parametros

Na Figura 2.2 podemos observar dois exemplos de CCI para o modelo logıstico de 2

parametros. Este modelo corresponde ao ML3 com ci = 0, i = 1, . . . , I, como dito ante-

riormente. Observe que para ambos os caso, alunos com proficiencias baixas o suficiente

tem probabilidade quase zero de acertar o item.

Na Figura 2.3 podemos observar CCIs de dois itens para o modelo logıstico de 1

parametro, ou Modelo de Rasch. Verificamos que assim como no ML2, a probabilidade

de acerto tende a zero a medida que a proficiencia diminui. Alem disso, no ML1, a

inclinacao da curva e sempre constante, havendo apenas um deslocamento da mesma

como funcao do parametro de dificuldade do item. No exemplo, o item 1c e mais facil

que o item 2c.

2.2.4 Inferencia Bayesiana para os modelos de TRI

Como ja visto nos modelos tradicionais da TRI, a probabilidade de uma resposta

correta a um determinado item depende somente da habilidade do indivıduo e dos

parametros do item. Em geral, apenas as respostas dos indivıduos sao conhecidas.

Estimar as habilidades significa determinar o valor do θ para cada um dos indivıduos

14

Item 1c: b = − 1

Habilidade

Pro

babi

lidad

e de

res

post

a ce

rta

−5 −4 −3 −2 −1 0 1 2 3 4 5

0.0

0.2

0.4

0.6

0.8

1.0

Item 2c: b = 1

Habilidade

Pro

babi

lidad

e de

res

post

a ce

rta

−5 −4 −3 −2 −1 0 1 2 3 4 5

0.0

0.2

0.4

0.6

0.8

1.0

Figura 2.3: CCI do Modelo de Rasch

(Hambleton e Rogers, 1991). A inferencia ou estimacao ou calibracao dos itens se refere

a tarefa de caracterizar os itens por meio dos valores numericos de seus parametros (Ba-

ker, 2001). Para esse processo de inferencia, podemos encontrar tres situacoes: quando

se conhece as habilidades dos indivıduos e pretende-se estimar apenas os parametros dos

itens, quando os parametros dos itens sao conhecidos e queremos estimar as habilidades

e, no caso mais geral, quando se deseja estimar simultaneamente os parametros dos itens

e as habilidades dos indivıduos Andrade (2000).

Neste trabalho, a inferencia sera feita sob o ponto de vista Bayesiano. Para realizar-

mos a inferencia Bayesiana, precisamos definir as seguintes funcoes:

• distribuicao a priori, que consiste em estabelecer uma funcao probabilıstica para os

parametros do modelo, e expressa a informacao inicial que temos dos parametros

antes de observarmos os dados;

• funcao de verossimilhanca, que e a funcao que descreve probabilisticamente os dados

observados;

• distribuicao a posteriori, que taz informacao sobre os parametros com base na priori

e nas observacoes.

15

Considere que um teste composto por I itens foi aplicado a um grupo de J indivıduos.

O objetivo e estimar todos os parametros: os parametros dos itens e os parametros dos

indivıduos. Seja λ = {β, θ, µθ, σθ} o vetor parametrico que contem todos os parametros

do ML3, onde β = {a, b, c} e o vetor apenas com os parametros do item e µθ e σθ sao os

hiperparametros da distribuicao a priori do parametro de habilidade θ.

Assumindo independencia dos parametros a priori, a distribuicao a priori conjunta

dos parametros e determinada pelo produto da distribuicao a priori de cada parametro,

definida por:

p(λ) ∝ p(β)p(θ | µθ, σθ) =J∏j=1

p(θj | µθ, σθ).p(µθ, σθ).I∏i=1

p(ai).p(bi).p(ci) (2.4)

A escolha das prioris para os parametros e uma tarefa muito importante desse pro-

cesso. Segundo Andrade (2000), as prioris mais utilizadas para os modelos ML3 sao:

• ai ∼ LN(µa, S2a), onde LN(µ, S2) denota a distribuicao Log-Normal com media µ

e variancia S2;

• bi ∼ N(µb, S2b ), ondeN(µ, S2) denota a distribuicao Normal com media µ e variancia

S2;

• ci ∼ Beta(αc, βc), onde Beta(α, β) denota a distribuicao Beta com media αα+β

e

variancia αβ(α+β+1)(α+β)2

;

• θj ∼ N(µθ, S2θ ), onde N(µ, S2) denota a distribuicao Normal com media µ e

variancia S2.

Pela independencia entre as respostas de indivıduos diferentes e pela independencia

local, podemos escrever a equacao da verossimilhanca L(λ) como:

L(λ) = p(Y | λ) = p(Y | θ, β) = (2.5)

J∏j=1

I∏i=1

Pyi,jij [1− Pij]1−yi,j

16

Yij e a variavel indicadora do acerto onde Y = (yij, . . . , y1J),...,yI1,...,yIJ e yij = 1

representa que o indivıduo j respondeu corretamente o item i. Pij = p(yij = 1 | θ, β),

denota a probabilidade do indivıduo j acertar ao item i. Para realizar o processo de

inferencia pela metodologia Bayesiana, e necessario avaliar a distribuicao a posteriori

dos parametros de interesse. Aplicando o Teorema de Bayes, obtemos a equacao da

distribuicao a posteriori, definida por:

p(λ | Y ) ∝ p(λ)L(λ). (2.6)

Em determinadas situacoes conseguimos obter a distribuicao a posteriori analitica-

mente, com base na expressao 2.6 e com o calculo da constante de normalizacao. Em

geral, entretanto, esta constante e difıcil de ser obtida, impossibilitando a obtencao de

uma forma fechada para a posteriori. Uma possibilidade e a utilizacao de metodos que

permitam simular valores da distribuicao a posteriori. O metodo que sera utilizado neste

trabalho e o Metodo de Monte Carlo via Cadeias de Markov (MCMC). Este metodo for-

nece uma solucao para o problema da simulacao mesmo em situacoes onde as distribuicoes

dos parametros desejados sao multidimensionais e complexas (Gamerman, 2006).

De forma geral, as tecnicas de MCMC permitem a simulacao de uma distribuicao

incorporando-a como a distribuicao limite de uma cadeia de Markov, e simulando esta

cadeia ate que ela chegue ao equilıbrio. O metodo MCMC mais utilizado e o Amostrador

de Gibbs. Este metodo e baseado em uma cadeia de Markov onde a dependencia do

valor a ser simulado, em relacao ao anterior, e governada pelas distribuicoes condicionais

completas, que se originam do modelo.

2.2.5 DIF – Funcionamento Diferencial do Item

A necessidade e relevancia da padronizacao ou uniformizacao das condicoes de aplicacao

dos instrumentos de medida e um dos supostos mais importantes da avaliacao, seja no

ambito psicologico ou educativo (Anastasi (1988) e Pasquali (2003)). Profissionais da pe-

dagogia e psicologia preocupam-se em uniformizar os itens, o tempo de resolucao de cada

item, a maneira de fazer a correcao, entre outras coisas. Com o modelo da TRI, tambem

17

existe essa preocupacao: as vezes indivıduos com a mesma habilidade tem probabilidades

diferentes de acertar determinado item por pertencerem a grupos sociais distintos, por

exemplo. Sendo assim, a avaliacao estaria privilegiando um grupo especıfico. Dizemos

que quando isso acontece existe um Funcionamento Diferencial do Item (DIF).

Historicamente, e antes da TRI, a identificacao de itens com DIF tinha o objetivo

inicial de detectar itens que se mostravam favoraveis (ou desfavoraveis) a um grupo

especıfico de alunos em detrimento de outros grupos, de forma que os testes pudessem

evitar questoes prejudiciais e injustas. Atualmente, os resultados das analises de DIF

para esses itens com comportamento diferencial possibilitam, entre outros fatores, avaliar

diferencas regionais e socio-culturais, muitas das quais nao sao facilmente percebidas,

diferencas curriculares e diferencas de abordagens pedagogicas (Soares, 2005).

Soares (2005) tambem ressalta que estudos conduzidos pelo Educational Testing Ser-

vice - ETS, nos Estados Unidos, apontam que o DIF, num contexto de avaliacao em larga

escala, pode ser causado basicamente por uma tricotomia de fatores: a familiaridade com

o conteudo do item, que tambem pode ser associada a exposicao ao tema ou a um fa-

tor cultural; o interesse pessoal naquele dado conteudo e a reacao emocional negativa

provocada pelo conteudo, particularmente associada a questoes raciais.

Dessa forma, ao identificarmos a presenca do DIF em uma avaliacao, podemos dizer

que esse e um fator que pode torna-la injusta. Serios problemas no processo de avaliacao

podem ser causados se a modelagem dos dados nao for feita levando em consideracao a

presenca do DIF.

No ambito da TRI, um item nao possui DIF quando sua curva caracterıstica (CCI)

e a mesma para os diferentes grupos analisados (dois ou mais grupos). Um item tera

DIF se os indivıduos que compoem grupos distintos (por exemplo tem racas distintas ou

pertencem a grupos culturais diferentes), possuirem probabilidades diferentes de acertar

este item. Note que aqui estamos supondo por hipotese que indivıduos pertencentes a

grupos distintos tem a mesma chance de possuir uma determinada habilidade.

Um exemplo de aplicacao pode ser visto em Goncalves (2006), onde os dados do

Programa Nova Escola do Estado do Rio de Janeiro foram analisados. Em uma primeira

analise foi observado que os alunos da capital tiveram maior percentual de acerto para

18

a maioria dos itens. Tambem foi possıvel identificar os itens que apresentaram maior

diferenca de percentuais. O modelo proposto por Goncalves (2006) e May (2006) e uma

generalizacao do Modelo Logıstico de 3 parametros com a inclusao de dois parametros

para representar o funcionamento diferencial na discriminacao e na dificuldade do item.

O modelo e dados por:

p(yij = 1 | θj, β, daig, dbig) = ci + (1− ci)1

1 + exp(−exp(−daig)ai(θj − bi + dbig)), (2.7)

em que i = 1, . . . , I, j = 1, . . . , J e g = 1, . . . , G, onde G e o total de grupos.

Os parametros que foram incluıdos no modelo sao daig e dbig, para g = 1, . . . , G e i =

1, . . . , I que representam o funcionamento diferencial na discriminacao e na dificuldade,

respectivamente, do item i no grupo g.

Em sua analise, Goncalves (2006) observou a necessidade de se ter uma boa classi-

ficacao dos itens quanto ao funcionamento diferencial, gerando resultados importantes do

ponto de vista educacional e pedagogico atraves das caracterısticas do DIF encontrado.

Assim como no trabalho de Goncalves (2006), as abordagens tradicionais de medida

de invariancia da teoria de resposta ao item examinam medidas de equivalencia (ME)

entre grupos observados (ex. raca, genero, grupo cultural). Em contrapartida, as medidas

mistas da teoria de resposta ao item (MM-TRI) examinam medidas de equivalencia entre

grupos nao observaveis (variaveis latentes de respondentes que podem ser distinguidos

por diferencas no uso da escala, veja Eid e Rauber, 2000). Ambas as abordagens podem

ser integradas pelo uso de medidas de mistura da TRI com a inclusao de covariaveis

(MM-TRI-C), na qual covariaveis sao modeladas conjuntamente com os tracos latentes,

de forma que e possıvel verificar se a medida de equivalencia pode ser atribuida a grupos

previamente observados ou nao. Tay et al (2011) apresentam o uso de modelos MM-TRI

com covariaveis (MM-TRI-C) como um metodo capaz de acessar de forma mais precisa as

causas do DIF. Segundo eles, esses metodos podem incorporar multiplas caracterısticas

simultaneamente. Nessa proposta devemos destacar o modelo de teoria de resposta ao

item com covariaveis (IRT-C), proposto por Tay et al (2011). Segundo ele, a utilidade

desse modelo para detectar o DIF e: (a) o DIF pode ser acessado atraves de categorias

19

multiplas e covariaveis contınuas; (b) O DIF pode ser examinado simultaneamente com

multiplas covariavies; (c) diferencas de medias e variancias latentes entre grupos podem

ser estimadas e comparadas no modelo final. Sendo assim, e possıvel verificar o grau

para o qual o DIF pode ser atribuıdo a caracterısticas como genero, raca, idioma, e/ou

condicao socio-economica. O modelo proposto em Tay et al (2011) e um modelo Logıstico

de dois parametros com covariavel. Sua equacao e definida por:

p(yij | θj, zj) =1

1 + exp(−[aiθj + bi + ciZj + dizj.θj])(2.8)

onde a probabilidade de responder ao item corretamente depende da habilidade e tambem

de uma covariavel relacionada ao DIF, aqui denotada por zj, cujos coeficientes sao ci e

dj. Esse modelo pode ser extendido para acomodar um numero maior de covariaveis.

20

Capıtulo 3

Modelagem Proposta

Nesse capıtulo apresentamos a modelagem proposta como uma generalizacao do Mo-

delo Logıstico de 3 Parametros. A nossa proposta e a de introduzir uma estrutura com

covariaveis para explicar parte da variabilidade observada no parametro de habilidade

dos indivıduos θ. Alem disso, propomos a inclusao de um parametro capaz de captar

possıveis correlacoes espaciais. Com essa proposta, desejamos alcancar como resultado

final modelos que sao capazes de estimar o que chamamos de “habilidade potencial”.

3.1 Modelo 1

Seja uma avaliacao composta por I itens. Definimos λ como o conjunto de todos os

parametros do modelo. O modelo proposto para explicar a probabilidade de acerto do

item i, i = 1, . . . , I pelo indivıduo j, j = 1, . . . , J , ou seja, Pij = p(yij = 1 | λ), e dado

por:

Pij = p(yij = 1 | λ) = p(yij = 1 | θj, βi) = ci + (1− ci)1

1 + exp(−ai(θj − bi)), (3.1)

log(θj) = X ′α + log(ρj),

onde βi = (ai],bi,ci) e o vetor parametrico que contem os parametros dos itens ai, bi e

ci (apresentados no capıtulo 3); α = (α1, α2, . . . , αp) e o vetor de parametros com os

21

coeficientes da regressao do modelo, que tem dimensao igual ao numero de covariaveis

no modelo (p). X e a matriz de covariaveis com dimensao J × p. θj e a habilidade do

indivıduo j e ρj representa a habilidade potencial do indivıduo, que e a habilidade do

indivıduo a menos do efeito das covariaveis. Nosso interesse principal sera estimar esse

parametro.

Observe que caso nao se considere o uso das covariaveis, isto e, quando αl = 0 para

qualquer l, l = 1, . . . , p, os parametros θj e ρj sao iguais, e retornamos ao caso do modelo

TRI tradicional de 3 parametros (ML3).

Os efeitos das covariaveis medem os desvios de θj em relacao a ρj. Considerando

o exemplo em que X1 e a covariavel que vale 1 caso o indivıduo tenha estudado em

escola publica, e zero caso contrario, espera-se um coeficiente α1 negativo, indicando que

a habilidade “observada”θj diminua em relacao a “habilidade potencial”ρj para alunos

que estudam em escola publica.

Para realizar o processo de inferencia pela metodologia Bayesiana e necessario pri-

meiramente especificar as distribuicoes a posteriori dos parametros de interesse. Para o

modelo proposto, especificamos as seguintes prioris:

• ai ∼ LN(µa, S2a),

• bi ∼ LN(0, (0.1)2),

• ci ∼ Beta(αc, βc),

• αl ∼ N(µ, S2),

• log(ρj) ∼ N(0, (0.1)2).

Observe que algumas distribuicoes a priori utilizadas neste modelo sao diferentes das

prioris usuais. Como nosso maior interesse e a habilidade potencial, desejamos que as

escalas do parametro bi e do parametro ρj sejam proximas, assim como as escalas de bi

e θj no modelo TRI usual. Sendo assim, assumimos como priori para o parametro bi

uma distribuicao log-normal, e para log(ρj) uma distribuicao normal com media zero e

variancia 0.01. Essa variancia foi escolhida de forma que as distribuicoe desses parametros

nao ficassem muito assimetricas.

22

Histogram of b

b

Fre

quen

cy

0.5 1.0 1.5 2.0 2.5 3.0

010

020

030

040

050

0

Histogram of hab

hab

Fre

quen

cy

0.5 1.0 1.5 2.0 2.5

010

020

030

040

050

0

Histogram of loghab

loghab

Fre

quen

cy

−1.0 −0.5 0.0 0.5 1.0

010

020

030

040

050

0

Figura 3.1: Grafico das prioris dos parametros b, ρ e log(ρj) do Modelo 1

Na Figura 3.1 podemos observar o comportamento das distribuicoes a priori para

os parametros bi, ρj e log(ρj). A distribuicao de log(ρj) foi escolhida de forma que

ao retirar a escala do log, os parametros bi e ρj fiquem em uma mesma escala. Como

podemos observar pela Figura 3.1, a distribuicao de bi e ρj tem uma ligeira assimetria

positiva. Esse comportamento, entretanto, nos parece apropriado.

Como foi dito no Capıtulo 2, aplicando o Teorema de Bayes (equacao 2.6) podemos

obter a equacao da distribuicao a posteriori. Assumindo a independencia dos parametros

a priori, a distribuicao a priori conjunta dos parametros e determinada pelo produto da

distribuicao a priori de cada parametro, definida por:

p(λ) ∝ p(θ)p(β) = (3.2)

J∏j=1

p(θj | ρj, α)I∏i=1

p(ai)p(bi)p(ci)J∏j=1

p(ρj)p(α)

3.2 Modelo 2

Nossa proposta aqui e fazer uma extensao do modelo anterior, descrito em 3.1 (Modelo

1). Como no Modelo 1, especificamos um modelo de regressao para explicar a variacao

23

do logaritmo das habilidades, considerando caracterısticas dos indivıduos como variaveis

explicativas. No Modelo 2 incluimos um parametro estruturado espacialmente que tem

como objetivo explicar diferencas regionais nas habilidades que nao foram explicados

pelas covariaveis. Denotamos por ρj,k o potencial de aprendizagem do indivıduo j que

reside na regiao k, θj,k a proficiencia do indivıduo j que reside na regiao k e λ como o

conjunto de todos os parametros do modelo. Definimos o Modelo 2 como:

Pij = p(yij = 1 | λ) = p(yij = 1 | θj,k, βi, ρj, φjk) = (3.3)

ci + (1− ci)1

1 + exp(−ai(θjk − bi)),

logθjk = X ′α + log(ρj) + φj,K

φk ∼ CARP (0, 0.2P−1) onde P = D − 0.95C denota a distribuicao Car Proprio. O

modelo e completado com as seguintes prioris:

• ai ∼ LN(µa, S2a),

• bi ∼ LN(0, (0.1)2),

• ci ∼ Beta(αc, βc),

• α ∼ N(µ, S2),

• Log(ρj) ∼ N(0, (0.1)2),

• φk ∼ CARP (µk, P−1), onde CARP (µ, P−1) denota a distribuicao CAR propria

com media µ e precisao P, definida no Apendice A.

Assumindo a independencia dos parametros a priori, a distribuicao a priori conjunta

dos parametros e determinada pelo produto da distribuicao a priori de cada parametro,

definida por:

p(θ, λ) ∝ p(θj)p(βi) = (3.4)

24

J∏j=1

p(θj | φjk, ρj, α)I∏i=1

p(ai)p(bi)p(ci)J∏j=1

p(ρj)p(α)p(φjk)

25

Capıtulo 4

Estudos Simulados

Nesta secao serao apresentados dois estudos simulados com o objetivo de validar os

algoritmos de estimacao dos modelos propostos.

4.1 Simulacao de dados do Modelo 1

Nessa secao sera feito um estudo de simulacao com o objetivo de validar a estimacao

do Modelo 1.

Um conjunto de dados foi gerado com base no modelo descrito em 3.1 considerando

I = 20, que representa o numero de itens na modelagem, e J = 1000, representando o

total de indivıduos. Para a geracao dos dados utilizamos o software R-Project.

Os parametros de discriminacao dos itens foram gerados a partir da distribuicao

LN(0.5, 1); os parametros de dificuldade dos itens foram gerados a partir da distribuicao

LN(0, 0.1) e os parametros de acerto ao acaso ci foram fixados em 0.2 para todos os itens.

Nessa simulacao, consideramos uma unica covariavel para explicar a proficiencia dos

indivıduos, que sera chamada de Xj e assumira valor 1 ou 0. Cada Xj foi gerado inde-

pendentemente da distribuicao Bernoulli com parametro p = 0.45. Os parametros ρj,k

foram gerados tambem de forma independente, da distribuicao N(0, 0.1). O parametro

α foi fixado em -0.3.

Dessa forma, os dados foram gerados a partir do seguinte modelo:

26

p(yij = 1 | θj,k, βi) = 0.2 + 0.81

1 + exp(−ai(θjk − bi))(4.1)

log(θj) = −0.3X + ρj,

para i = 1, . . . , I e j = 1, . . . , J , ai ∼ LN(0.5, 1), bi ∼ LN(0, 0.1), ρj ∼ N(0, 0.1) e

α ∼ N(0, 1).

A Figura 4.1 mostra o histograma da soma dos escores simulados. Podemos observar

que o numero de acertos gerados varia de 4 a 19 (em um total de 20). O histograma e

razoavelmente simetrico com media em torno de 12 acertos.

Histogram of Escores_Simulados

Escores_Simulados

Fre

quen

cy

5 10 15 20

020

4060

8010

012

0

Figura 4.1: Histograma da soma dos escores simulados sob o Modelo 1

A Figura 4.2 apresenta box-plots comparando escores simulados para cada valor da

covariavel X. Como o parametro α foi igual a -0.3 na geracao destes dados, os indivıduos

com X=1 obtiveram menores escores em media.

Para o processo de estimacao, utilizamos as seguintes distribuicoes a priori para os

parametros: ai ∼ LN(0.5, 1), bi ∼ LN(0, 0.1), ci ∼ Beta(5, 17), α ∼ N(0, 1), ρ ∼

N(0, 0.1).

27

0 1

510

15

Figura 4.2: Box-plot dos escores simulados com a covariavel X.

Para o processo de estimacao, utilizamos o software OpenBugs versao 3.2.2. Os valores

iniciais de cada parametro foi gerado pelo software. O programa levou aproximadamente

2 horas para gerar uma cadeia com 5 mil iteracoes para esses dados simulados, em um

notebbok Dell com processador intel core i3, 4 gb de memoria ram. A convergencia foi

verificada visualmente apos um numero pequeno de iteracoes. Descartamos as primeiras

mil iteracoes e realizamos toda a analise em uma cadeia com 4 mil amostras.

A Figura 4.3 apresenta os intervalos de 95% de credibilidade para os parametros da

discriminacao dos itens, ai. Em vermelho temos a media a posteriori e em azul o valor

obtido na geracao dos dados. Os resultados ficaram bem satisfatorios, pois todos os

valores gerados ficaram dentro dos intervalos de credibilidade.

A Figura 4.4 apresenta os intervalos de 95% de credibilidade para os parametros de

dificuldade dos itens, bi. Em vermelho temos a media a posteriori e em azul o valor

obtido na geracao dos dados. Os resultados tambem ficaram bem satisfatorios, sendo

que apenas para o item 11 o resultado gerado ficou fora do intervalo. Para os demais

itens, os valores gerados ficaram muito proximos da media e dentro dos intervalos.

28

5 10 15 20

05

1015

2025

Item

Par

âmet

ro a

● ● ●

●

●

●

●

●

●

●● ● ● ●

●

●

●

●

●

●

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

05

1015

2025

Figura 4.3: Intervalos de 95% de Credibilidade para o parametro ai, i = 1, . . . , I (Modelo

1).

5 10 15 20

0.5

1.0

1.5

2.0

Item

Par

âmet

ro b

●

●

●

●

●

●

●

●

●

●

●●

●●

●

●

●

●

●

●

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

0.5

1.0

1.5

2.0

Figura 4.4: Intervalos de 95% de Credibilidade para o parametro bi, i = 1, . . . , I (Modelo

1).


acerto casual dos itens, ci. Em vermelho temos a media a posteriori e em azul o valor

verdadeiro. Os resultados foram satisfatorios. Observe que os valores verdadeiros ficaram

bem proximos da media e todos dentro dos intervalos de credibilidade.

29

5 10 15 20

0.0

0.1

0.2

0.3

0.4

0.5

Item

Par

âmet

ro c

●

● ● ●

● ●

●

●

●

●●

●

●

●

●

●●

●

●

●

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

0.0

0.1

0.2

0.3

0.4

0.5

Figura 4.5: Intervalos de 95% de Credibilidade para o parametro ci, i = 1, . . . , I (Modelo

1).

Na Figura 4.6 temos um histograma do parametro α, o coeficiente de regressao as-

sociado a covariavel. A linha em vermelho representa o valor verdadeiro de α, obtido

na geracao dos dados. Podemos observar que o resultado ficou satisfatorio, com o valor

verdadeiro estando proximo da media a posteriori.

A Figura 4.7 apresenta os intervalos de 95% de credibilidade para os 20 primeiros

parametros da proficiencia, θ1, . . . , θ20. Em vermelho temos a media a posteriori e em

azul o valor obtido na geracao dos dados. Os resultados ficaram satisfatorios, sendo

que apenas o 13o valor simulado ficou fora do intervalo, contudo proximo ao seu limite

inferior.

A Figura 4.8 apresenta os intervalos de 95% de credibilidade para os 20 primeiros

parametros do logartimo da habilidade potencial, log(ρ1), . . . , ρ20 para os 20 primeiros

valores. Em vermelho temos a media a posteriori e em azul o valor obtido na geracao

dos dados. Os resultados ficaram satisfatorios, sendo que novamente apenas o 13o valor

simulado ficou fora do intervalo, porem proximo ao seu limite inferior.

30

Histogram of alpha

alpha

Fre

quen

cy

−0.40 −0.35 −0.30 −0.25 −0.20

020

040

060

080

010

00

Figura 4.6: Histograma da posteriori para o parametro α (Modelo 1).

5 10 15 20

0.5

1.0

1.5

2.0

2.5

nindiv

Par

âmet

ro T

heta

20

indi

vídu

os

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●● ●

●

●

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

0.5

1.0

1.5

2.0

2.5

Figura 4.7: Intervalos de 95% de Credibilidade para os parametros θj, j = 1, . . . , 20

(Modelo 1).

31

5 10 15 20

−1.

0−

0.5

0.0

0.5

1.0

nindiv

Par

âmet

ro L

ogha

b 20

indi

vídu

os ●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

−1.

0−

0.5

0.0

0.5

1.0

Figura 4.8: Intervalos de 95% de Credibilidade para os parametros ρj, j = 1, . . . , 20

(Modelo 1).

4.2 Simulacao do Modelo 2

Nessa secao sera feito um novo estudo de simulacao para a validacao da estimacao

do Modelo 2. Um conjunto de dados foi gerado utilizando o software R-Project, com

base no modelo descrito em 3.3 considerando I = 20, que representa o numero de itens

na modelagem, e J = 1000, representando o total de indivıduos. A cada indivıduo foi

atribuıdo um dos 27 Estados do Brasil, aleatoriamente.

Os parametros de discriminacao dos itens foram gerados a partir da distribuicao

LN(0.2, 0.7); os parametros de dificuldade dos itens foram gerados a partir da distribuicao

LN(0, 0.1) e os parametros de acerto ao acaso ci foram fixados em 0.2 para todos os itens.

Consideramos novamente uma unica covariavel para explicar a proficiencia dos in-

divıduos, que sera chamada de Xj e assumira valor 1 ou 0. Cada Xj foi gerado indepen-

dentemente da distribuicao Beunoulli com parametro p = 0.45. Os parametros ρj,k foram

gerados da distribuicao N(0, 0.1) tambem de forma independente. O parametro α foi fi-

xado em -0.3 para a geracao dos dados. Os parametros φk foram gerados da distribuicao

CARP (0, 0.2P−1).

Sendo assim, os dados foram gerados a partir do seguinte modelo:

32

p(yij = 1 | θjk, βi) = 0.2 + 0.81

1 + exp(−ai(θjk − bi))(4.2)

log(θj) = −0.3X + ρj + φk

para i = 1, . . . , I e j = 1, . . . , J , ai ∼ LN(0.2, 0.7), bi ∼ LN(0, 0.1), ci = 0.2, α = −0.3,

ρ ∼ N(0, 0.1) e φk ∼ CARP (0, 0.2P−1).

A Figura 4.9 apresenta o histograma da soma dos escores simulados. Para essa si-

mulacao, os escores obtidos estao entre 5 e 20 (em um total de 20 questoes). O histograma

e razoavelmente simetrico com media em torno de 12 acertos.

Histogram of Soma_Acertos

Soma_Acertos

Fre

quen

cy

5 10 15 20

020

4060

8010

012

0

Figura 4.9: Histograma dos acertos simulados sob o Modelo 2.

A Figura 4.10 apresenta o box-plots dos escores simulados para cada valor da co-

variavel X. Como o parametro α foi igual a -0.3 na geracao destes dados, os indivıduos

com X=1 obtiveram menores escores em media.

A Figura 4.11 representa as medias dos escores simulados por Estado Brasileiro, mos-

trando uma estrutura espacial nessas medias.

33

0 1

510

1520

Figura 4.10: Box-plot dos escores simulados para X=0 e X=1.

Para o processo de estimacao, utilizamos as seguintes distribuicoes a priori para os

parametros: ai ∼ LN(0.2, 1), bi ∼ LN(0, 0.1), ci ∼ Beta(5, 17), α ∼ N(0, 1), ρ ∼

N(0, 0.1), φk ∼ CarP (µk, P−1).

Para o precesso de estimacao utilizamos o software OpenBugs versao 3.2.2. Os valores

iniciais de cada parametro foram gerados pelo software. O programa levou aproximada-

mente 42 horas para gerar uma cadeia com 10 mil iteracoes para esses dados simulados,

em um notebbok Dell com processador intel core i3, 4 gb de memoria ram. A convergencia

foi verificada visualmente apos um grande numero de iteracoes. Descartamos as primeiras

3 mil iteracoes e realizamos toda a analise em uma cadeia com 7 mil amostras.

As Figuras 4.12, 4.13 e 4.14 apresentam os intervalos de 95% de credibilidade para

os parametros dos itens, ai, bi e ci, respectivamente. Em vermelho temos as medias a

posteriori e em azul os valores “reais” obtidos na geracao dos dados. Os resultados ficaram

satisfatorios pois todos os valores gerados ficaram dentro dos intervalos de credibilidade.

A Figura 4.15 apresenta o histograma da posteriori obtida para o parametro α, o

34

(13.7,14.5](13,13.7](12.3,13](11.6,12.3](10.8,11.6]

Figura 4.11: Media dos escores simulados por Estado do Brasil.

5 10 15 20

02

46

810

Item

Par

âmet

ro a

● ●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

02

46

810

Figura 4.12: Intervalos de 95% de Credibilidade para o parametro ai, i = 1, . . . , I (Modelo

2).

35

5 10 15 20

0.0

0.5

1.0

1.5

2.0

Item

Par

âmet

ro b

●●

●

●

●

●

●

●

●

●●

● ●

●

●

●

●

● ●

●

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

0.0

0.5

1.0

1.5

2.0

Figura 4.13: Intervalos de 95% de Credibilidade para o parametro bi, i = 1, . . . , I (Modelo

2).

5 10 15 20

0.0

0.1

0.2

0.3

0.4

0.5

Item

Par

âmet

ro c

●●

●

●

●

● ●

●

●

●

●

● ●

●

●

●

●

●

●

●

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

0.0

0.1

0.2

0.3

0.4

0.5

Figura 4.14: Intervalos de 95% de Credibilidade para o parametro ci, i = 1, . . . , I (Modelo

2).

coeficiente de regressao da covariavel. A linha em vermelho representa o valor de α usado

na geracao dos dados. Podemos ver que o valor verdadeiro desse parametro, apesar de

superestimado, ainda se encontra dentro do intervalo de 95% de credibilidade.


36

Histogram of alpha

alpha

Fre

quen

cy

−0.30 −0.25 −0.20 −0.15

020

040

060

080

0

Figura 4.15: Histograma a posteriori do parametro α (Modelo 2).

proficiencia dos 20 primeiros indivıduos. Em vermelho temos as medias a posteriori e em

azul os valores verdadeiros. Os resultados ficaram satisfatorios, sendo que apenas o 2o

valor simulado ficou fora do intervalo, contudo proximo ao limite inferior do intervalo.

A Figura 4.17 apresenta os intervalos de 95% de credibilidade para os parametros do

logarıtmo da habilidade potencial dos 20 primeiros indivıduos. Em vermelho temos as

medias a posteriori e em azul os valores verdadeiros. Os resultados ficaram satisfatorios.

Na Figura 4.18 podemos observar o mapa do valor estimado (pela media a posteriori)

da variavel φ, e o mapa do valor verdadeiro da variavel φ. Mantemos as mesmas cores e

escalas afim de comparar esses valores. Podemos perceber que na maioria dos estados o

processo de inferencia resultou na preservacao do comportamento espacial desejado.

37

5 10 15 20

0.0

0.5

1.0

1.5

2.0

2.5

3.0

nindiv

Par

âmet

ro T

heta

20

indi

vídu

os

●

●

●

●

●

●

●

●

●

●●

●●

●

●

●

● ●

●

●

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

0.0

0.5

1.0

1.5

2.0

2.5

3.0

Figura 4.16: Intervalos de 95% de Credibilidade para o parametro θj, j = 1, . . . , J (Mo-

delo 2).

5 10 15 20

−1.

0−

0.5

0.0

0.5

1.0

nindiv

Par

âmet

ro L

ogha

b 20

indi

vídu

os

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●●

●

●

●

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

−1.

0−

0.5

0.0

0.5

1.0

Figura 4.17: Intervalos de 95% de Credibilidade para o parametro ρj, j = 1, . . . , J (Mo-

delo 2).

38

Componente Espacial Gerada Componente Espacial Estimada

(0.515,0.673]

(0.356,0.515]

(0.198,0.356]

(0.0393,0.198]

(−0.119,0.0393]

Figura 4.18: Mapa do Brasil com a componente espacial φ gerada e estimada.

39

Capıtulo 5

Saeb – Sistema Nacional de

Avaliacao da Educacao Basica

O Sistema de Avaliacao da Educacao Basica (Saeb) e uma avaliacao em larga escala,

cujo orgao responsavel e o INEP, que hoje e uma autarquia Federal encarregada das

avaliacoes, pesquisas e levantamentos estatısticos educacionais no ambito do Governo

Federal.

O objetivo do Saeb e realizar um diagnostico do sistema educacional brasileiro e de

possıveis fatores que possam interferir no desempenho do aluno, fornecendo um indicativo

sobre a qualidade do ensino que e ofertado. Com isso, ele tem uma grande funcao

no sentido de reformular e monitorar as polıticas educacionais nas esferas Municipal,

Estadual e Federal, colaborando para uma melhora na qualidade e eficiencia do ensino.

Segundo a pagina do Prova Brasil, (http://provabrasil.inep.gov.br/historico - Historia

da Prova Brasil de do Saeb), a primeira aplicacao do Saeb aconteceu em 1990, onde

participaram uma amostra de escolas publicas da rede urbana que possuiam turmas com

as seguintes series do Ensino Fundamental: 1a, 3a, 5a e 7a. Nessa primeira edicao os

alunos foram avaliados em lıngua portuguesa, matematica e ciencias. As 5a e 7a series

tambem foram avaliadas com uma redacao. Esta estrutura permaneceu ate a edicao de

1993.

A partir de 1995, a Teoria de Resposta ao Item foi adotada como metodologia empre-

gada na construcao do teste e na analise de resultados, possibilitando assim a comparacao

40

entre os resultados das avaliacoes ao longo do tempo. A partir dessa edicao do Saeb, as

avaliacoes passaram a ser ministradas para as series que finalizam as etapas educacionais:

4a e 8a series do Ensino Fundamental (que correspondem ao 5o e 9o ano atualmente) e

3o ano do Ensino Medio. Foi acrescentada tambem uma amostra da rede privada.

O Saeb passou a avaliar apenas as areas de Lıngua Portuguesa e Matematica a partir

da edicao de 2001, mantendo este formato ate hoje.

Em 2005 o Saeb passou a ser composto por duas avaliacoes: Avaliacao Nacional da

Educacao Basica – Aneb (hoje continua sendo conhecida como Saeb) e Avaliacao Nacional

do Rendimento Escolar – Anresc (conhecida como Prova Brasil). Na Prova Brasil, apenas

alunos da rede publica nas series 5o ano e 9o ano participam das avaliacoes, com testes de

Lıngua Portuguesa e Matematica. No Saeb (Aneb), continuam sendo avaliados os alunos

da rede publica e da rede particular, nas series 5o ano, 9o ano e 3o ano do Ensino Medio,

com testes de Lıngua Portuguesa e Matematica.

Neste trabalho, utilizaremos dados obtidos no Saeb 2005 para a aplicacao do modelo

que iremos propor. Os dados foram obtido no site do Inep (http://portal.inep.gov.br/basica-

levantamentos-acessar).

O arquivo que utilizamos para esse trabalho contem os microdados referentes a ava-

liacao do Saeb aplicado no ano de 2005, contendo todas as respostas dos testes de Lıngua

Portuguesa e Matematica, e tambem as respostas do questionario socio-economico, de

todos os alunos do 5o ano, 9o ano e 3o do ensino medio que participaram dessa edicao.

Tambem contem o Manual do Usuario fornecendo explicacoes da construcao dessa ava-

liacao e das variaveis que fazem parte do banco de dados. E importante ressaltar que as

informacoes contidas nas respostas do questionario socio-economico terao papel impor-

tante na analise e modelagem dos dados, trazendo informacoes sobre a vida do aluno fora

da escola, tais como se o aluno estuda na rede publica de ensino ou na rede particular,

se o aluno trabalha ou nao, se o aluno mora com os pais, a idade do aluno e se o aluno

reside na capital ou no interior do Estado.

Segundo as informacoes contidas no Manual do Saeb 2005, os testes aplicados aos

alunos sao compostos por 169 itens de multipla escolha onde cada item possui apenas

uma opcao correta dentre as 5 opcoes de respostas, para cada uma das series e disciplinas

41

avaliadas. Para permitir a aplicacao dessa grande quantidade de itens, utiliza-se um

modelo para montagem dos cadernos denominado Blocos Incompletos Balanceados (BIB)

(Beckman, 2001). Esse modelo permite que os 169 itens sejam divididos em subconjuntos

menores, denominados blocos. Cada bloco e composto por 13 itens, o que faz com que se

tenha um total de 13 blocos. Um caderno de provas e formado por tres blocos diferentes,

e sendo assim temos um total de 26 cadernos de prova distintos. Cada aluno participante

desta avaliacao responde a apenas um caderno de prova.

Escolhemos trabalhar com os dados referente a prova de Matematica aplicada aos

alunos do 3o ano do Ensino Medio. Nessa avaliacao, participaram 22.256 alunos, e dada

a grande dimensao desse conjunto de dados, trabalhamos com os 852 alunos que respon-

deram ao caderno de prova numero 1.

5.1 Analise Exploratoria dos Dados

Nessa secao foram feitas analises exploratorias do conjunto de dados relativo as res-

postas dos alunos as questoes de matematica contidas no caderno de prova numero 1 e

ao questionario socio-economico, respondido pelos alunos do 3o ano do Ensino Medio que

participaram do Saeb 2005.

Analisamos as respostas dos alunos ao questionario socio-economico com o objetivo

de verificar possıveis relacoes entre o desempenho do aluno na avaliacao com situacoes

que afetam sua vida cotidiana. Aplicacoes similares podem ser vistas em Natis (2001).

Nessa analise exploratoria, para medir o desempenho dos alunos, trabalhamos com

os escores obtidos na prova. As variaveis socio-economicas estudadas foram: a rede de

ensino na qual o aluno pertence, o ano de nascimento do aluno, a regiao do Brasil na

qual o aluno reside, se o aluno mora com a mae, se o aluno mora com o pai e se o aluno

trabalha ou nao.

A Figura 5.1 mostra o box-plot dos escores obtidos na prova de matematica por ano de

nascimento do aluno. Podemos observar por essa figura que os alunos que obtiveram em

media escores mais elevados foram os que nasceram no ano de 1988. Esses alunos tinham

completado ou iriam completar 17 anos quando realizaram essa prova em 2005. Os alunos

42

●●

●

●●

●●

84 85 86 87 88 89 91 ou depois

010

2030

Box−Plot Ano de Nascimento

Figura 5.1: Box-Plot dos escores da prova de matematica por ano de nascimento.

que estavam com 15/16 anos (nascidos em 1989) tambem obtiveram, em media, um bom

desempenho. Os alunos com 17/18 anos (nascidos em 1987) tiveram um desempenho

bom, contudo inferior em media aos alunos com 16/17 anos. Pode-se notar que em

geral, o desempenho dos alunos aumenta a medida que sua idade diminui, ate atingir

o maximo para alunos nascidos em 1988. A partir daı, o desempenho volta a cair.

Uma possıvel explicacao para o baixo desempenho dos alunos mais velhos e que o seu

contato com as materias ocorreu ja a algum tempo propiciando o seu esquecimento, ou

ate pelo fato de que alguns desses alunos costumam estudar a noite, e assim recebem o

conteudo didatico de forma mais resumida. Alunos muito novos (nascidos em 1991 ou

depois) nao conseguiram bom desempenho em media. Isso pode estar relacionado ao

fato desses alunos estarem em um nıvel escolar inferior, ou seja, eles possivelmente ainda

nao tiveram contato com parte dos conteudos cobrados nesta avaliacao. Essa realidade

tambem pode ser observada, por exemplo, em vestibulares. Onde os alunos mais novos,

aqueles que ainda nao terminaram o ensino medio, tendem a um desempenho menor pois

ainda tiveram contato com toda o conteudo que costuma cair nos vestibulares.

43

●

●

●

●

●

●

●

●

●

●

●

Rede Pública Rede Particular

010

2030

Figura 5.2: Box-Plot dos escores da prova de matematica por rede de ensino.

A Figura 5.2 mostra o box-plot dos escores obtidos na prova de matematica por rede

de ensino na qual o aluno estuda. Podemos notar que os estudantes da rede particular de

ensino tiveram desempenho significativamente superior aos estudantes da rede publica

de ensino. Essa analise confirma a superioridade do ensino nas escolas particulares em

relacao ao ensino publico.

A Figura 5.3 mostra o box-plot dos escores obtidos na prova de matematica por

variavel que informa se o aluno trabalha. Por essa Figura podemos observar que os

alunos que nao trabalham obtiveram um rendimento superior aos alunos que precisam

trabalhar, como o esperado. Muitos alunos que trabalham estudam em cursos noturnos,

cujos conteudos didaticos sao em geral reduzidos.


variavel que informa se o aluno mora com a mae, sem uma figura materna ou com outra

mulher responsavel. Por essa Figura podemos observar como a presenca da mae exerce

um importante papel no processo de aprendizado do aluno. A ausencia da mae e um

fator que influencia a vida do aluno, pois mesmo os alunos que moram com outra mulher

44

●

●

●

●

●

Não Sim

010

2030

Figura 5.3: Box-Plot dos escores da prova de matematica dos alunos que trabalham e

que nao trabalham.

responsavel, tem seu desempenho medio inferior aqueles que moram com suas maes.


variavel que informa se o aluno mora com pai, sem uma figura paterna, ou com outro

homem responsavel. Observa-se um resultado similar ao da Figura 5.4. Podemos concluir

que os alunos com melhor desempenho em media, sao aqueles que moram com sua mae

e com seu pai. Mesmo quando o aluno vive com a presenca de outro responsavel, por

exemplo a avo, a madastra ou o padastro, seu desempenho em media e inferior, mostrando

a grande importancia dos pais na vida do aluno.

A Figura 5.6 apresenta a media dos escores dos alunos que realizaram a prova de

Matematica do Saeb 2005 por Estado brasileiro. Por esse mapa podemos perceber uma

possıvel correlacao espacial entre essas medias.

A fim de compreender melhor a relacao dessas covariaveis citadas acima com os escores

obtidos na prova de matematica, foi feita uma analise de regressao considerando como

variaveis explicativas indicadores da rede de ensino em que o aluno estuda, se ele mora

45

●●

●

●

●

●

●●

●●

●

●

Com a mãe Sem a figura materna Com outra mulher responsável

010

2030

Figura 5.4: Box-Plot dos escores da prova de matematica dos alunos que moram com a

mae, sem a figura materna, e com outra mulher responsavel.

com a mae, se mora com o pai e se o aluno trabalha. Seguem as definicoes das covariaveis

consideradas:

X1 =

1, aluno estuda em escola publica

0, aluno estuda em escola particular

X2 =

1, aluno mora com a mae

0, aluno nao mora com a mae

X3 =

1, aluno mora com o pai

0, aluno nao mora com o pai

46

●

●

●●

●

●

●

●●●●

●

Com seu pai Sem a figura paterna Com outro homem responsável

010

2030

Figura 5.5: Box-Plot dos escores da prova de matematica dos alunos que moram com seu

pai, que moram sem a figura paterna e que moram com outro homem responsavel.

X4 =

1, aluno trabalha

0, aluno nao trabalha

Para a covariavel X2 as categorias sem a figura materna e com outra mulher res-

ponsavel foram agrupadas e representadas por X2 = 0, pois essas categorias apresen-

taram um comportamento similar segundo o box-plot apresentado na Figura 5.4. Da

mesma forma, para a covariavel X3 as categorias sem a figura paterna e com outro ho-

mem responsavel foram agrupadas e representadas por X3 = 0. A idade do aluno nao foi

considerada devido ao seu comportamento nao linear com o escore.

Uma regressao linear simples foi realizada. A equacao de regressao pode ser escrita

por:

Yi = β0 + β1X1 + β2X2 + β3X3 + β4X4 + εi (5.1)

(5.2)

εi ∼ N(0, σ2)

47

Média dos Escores Prova Saeb 2005

(16.1,17.7](14.4,16.1](12.7,14.4](11.1,12.7](9.4,11.1]

Figura 5.6: Media dos escores da prova de matematica para cada estado brasileiro.

A Tabela 5.1 contem os valores estimados de cada covariavel com seu respectivo p-

valor.

O valor estimado para o intercepto β0 foi de 1.13695, significando que quando todas

as covariaveis valem zero (ou seja, o aluno estuda em escola particular, nao trabalha

e nao mora com seus pais), a proficiencia esperada e de 1.13695. O parametro β1 foi

estimado em -1.12, significando que quando as demais covariaveis estao fixas, os alunos

que estudam em escola publica obtem escores em media menores em 1.12 unidades que

os alunos que estudam em escola particular. O parametro β2 foi estimado em 0.47476,

significando que quando as demais covariaveis estao fixas, os alunos que moram com

48

Tabela 5.1: Coeficientes da regressao estimados e seus respectivos p-valores.

Parametro Valor Estimado P-valor

β0 1.13695 < 2e− 16

β1 −1.12668 < 2e− 16

β2 0.47476 5.36e− 06

β3 −0.06358 0.444

β4 −0.32216 8.04e− 05

sua mae obtem escores em media maiores em 0.47476 unidades que os alunos que nao

moram com sua mae. O parametro β3 foi estimado em -0.06358, significando que quando

as demais covariaveis estao fixas, os alunos que moram com seu pai obtem escores em

media menores em 0.06358 unidades que os alunos que nao moram com seu pai. Esse

resultado nao era esperado, porem pode ter ocorrido devido a uma alta correlacao entre

as variaveis X2 e X3. Alem disso, como pode ser visto pela Tabela 5.1, o parametro β3

foi nao significativo, tendo p-valor = 0.444. O parametro β4 foi estimado em -0.32216,

significando que quando as demais covariaveis estao fixas, os alunos que trabalham obtem

escores em media menores em 0.32216 unidades que os alunos que nao trabalham.

A fim de investigar se ainda existe alguma dependencia espacial apos remover os

efeitos das covariaveis, foi feito um mapa (Figura 5.7) com a media dos resıduos da

regressao por Estado brasileiro. Por essa Figura notamos que possivelmente ainda resta

alguma relacao espacial entre as medias desses resıduos.

5.2 Aplicacao dos modelos propostos

Na analise exploratoria feita na Secao 5.1, foi obsevado que algumas caracterısticas da

vida do aluno parecem exercer influencia no desempenho do mesmo no exame do Saeb.

Por essa analise preliminar percebemos que a presenca dos pais e muito importante para

o desempenho do aluno em sua vida academica. Concluımos tambem que o aluno com

49

(0.176,0.421](−0.0688,0.176](−0.314,−0.0688](−0.559,−0.314](−0.804,−0.559]

Figura 5.7: Resıduos do Modelo de Regressao para cada Estado brasileiro.

maior dificuldade financeira tende a ter pior rendimento por diversos fatores. O aluno que

estuda em escola da rede publica de ensino tem menor rendimento em media comparado

ao aluno que possui condicoes de frequentar a rede particular.

Sendo assim, podemos dizer que algumas das variaveis socio-economicas influenciam

claramente no desempenho dos alunos, e isso pode refletir na estimativa de suas habili-

dades em um modelo de TRI usual. Entretanto, isso nao significa que a capacidade de

aprendizado desses alunos seja inferior a dos alunos com melhores condicoes financeiras.

Essa analise motiva o modelo proposto, que tem como objetivo principal obter a habili-

dade potencial do indivıduo, ou seja, a sua proficiencia tirando fatores que dificultam o

50

seu desempenho.

Como observado no Capıtulo 5, (Figura 5.7), o mapa com a media dos resıduos da

regressao por Estado brasileiro nos mostra que possivelmente ainda resta alguma relacao

espacial entre as medias desses resıduos. Para retirar essa possıvel correlacao espacial das

habilidades, um segundo modelo e proposto, com a inclusao de uma componente espacial

ao primeiro modelo proposto.

5.2.1 Aplicacao com o Modelo 1

Nesta secao, aplicaremos o Modelo 1 aos dados do Saeb 2005. Como ja foi dito,

trabalharemos com uma amostra de 852 alunos que responderam ao caderno de prova

numero 1 da prova de Matematica. Neste modelo, utilizaremos tres covariaveis que foram

significativas na analise exploratoria. Para isso, foi necessario a exclusao de 19 alunos

que nao responderam a alguma pergunta cuja informacao esta diretamente associada as

covariaveis utilizadas. Sendo assim, o modelo foi estimado com base nas respostas de 833

alunos a 39 itens da prova de Matematica.

Para essa aplicacao, o modelo 1 e definido por:

p(yij = 1 | θjk, βi) = ci + (1− ci)1

1 + exp(−ai(θjk − bi))(5.3)

log(θj) = α1X1 + α2X2 + α3X4 + ρj

e as prioris: ai ∼ LN(0.5, 0.5); bi ∼ N(0, 1); ci ∼ Beta(5, 17); α1 ∼ N(0, 1); α2 ∼

N(0, 1); α3 ∼ N(0, 1); ρ ∼ N(0, 1) para i = 1, . . . , I, e j = 1, . . . , J . As covariaveis X1,

X2 e X4 foram definidas na pagina 46.


iniciais de cada parametro foram gerados pelo software. O programa levou aproximada-

mente 6 horas para gerar uma cadeia com 11 mil iteracoes para esses dados simulados, em

um notebbok Dell com processador intel core i3, 4 gb de memoria ram. A convergencia foi

verificada visualmente apos um grande numero de iteracoes. Descartamos as primeiras 4

mil iteracoes e realizamos toda a analise em uma cadeia com 7 mil amostras.

51

A Figura 5.8 apresenta os intervalos de 95% de credibilidade para os parametros

de discriminacao dos itens, ai. Em vermelho temos a media a posteriori e em verde a

mediana a posteriori. Observe que os itens 2 e 18 nao discriminam bem e o item 10 tem

o maior poder de discrimacaode todos.

●

●

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

● ●

● ●

●●

●

●

●●

●

●

●

●

●

●

●

0 10 20 30 40

02

46

810

1214

Item

Dis

crim

inaç

ão a

_i

●

●

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

● ●

●●

●●

●

●

●

●

●

●

●

●

●

●

●

1 2 3 4 5 6 7 8 9 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38

02

46

810

1214

Figura 5.8: Intervalos de 95% de Credibilidade para o parametro ai, i = 1,. . . , I (Modelo

1)


dificuldade dos itens, bi. Em vermelho temos a media a posteriori e em verde a mediana

a posteriori. Podemos observar que os itens mais difıceis sao os 12, 13 e 39. O item 1 foi

o mais facil. Os demais itens tem seu parametro de dificuldade entre 0 e 2 de forma bem

distribuıda.


de acerto casual dos itens, ci. Em vermelho temos a media a posteriori e em verde a

mediana a posteriori. Os itens 2, 3, 15, 18, 26 e 39 apresentaram o parametro de acerto

casual entre 0.20 e 0.235. Para os demais itens, os parametros foram menores que 0.2,

o que e bem razoavel dado que as questoes de multipla escolha dessa prova possuem 5

itens.

Na Figura 5.11 temos um histograma do parametro α1, o coeficiente de regressao as-

52

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●●

●

0 10 20 30 40

0.5

1.0

1.5

2.0

2.5

Item

Par

âmet

ro b

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●●

●

1 2 3 4 5 6 7 8 9 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38

0.5

1.0

1.5

2.0

2.5

Figura 5.9: Intervalos de 95% de Credibilidade para o parametro bi, i = 1,. . . , I (Modelo

1)

●

●●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●● ●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●●

0 10 20 30 40

0.0

0.1

0.2

0.3

0.4

0.5

Item

Par

âmet

ro c

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

1 2 3 4 5 6 7 8 9 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38

0.0

0.1

0.2

0.3

0.4

0.5

Figura 5.10: Intervalos de 95% de Credibilidade para o parametro ci, i = 1,. . . , I (Modelo

1)

sociado a covariavel indicadora se o aluno estuda na rede publica. A linha em vermelho

representa a media a posteriori de α1. Podemos observar que o resultado ficou satisfatorio.

Como a media a posteriori de α1 e igual a -0.3984, observamos que as habilidades dos alu-

53

nos que estudam em escola publica e reduzida. Esses alunos tem habilidade estimada de

apenas 67% da sua habilidade potencial, mantendo fixas as demais covariaveis presentes

no modelo. Esse resultado confirma os resultados obtidos pela analise exploratoria.

Histogram of alpha2

alpha2

Fre

quen

cy

−0.20 −0.15 −0.10 −0.05

020

040

060

080

0

Figura 5.11: Histograma da posteriori para o parametro α1 (Modelo 1)

Na Figura 5.12 temos um histograma do parametro α2, o coeficiente de regressao

associado a covariavel indicadora se o aluno trabalha. A linha em vermelho representa

a media a posteriori de α2. A media a posteriori de α2 foi igual a -0.1274. Observamos

que as habilidades dos alunos que trabalham e portanto reduzida. Esses alunos tem

habilidade estimada em 88% da sua habilidade potencial, mantendo fixas as demais

covariaveis presente no modelo. Esse resultado confirma os resultados obtidos na analise

exploratoria dos dados.


associado a covariavel indicadora se o aluno mora com sua mae. A linha em vermelho

representa a media a posteriori de α3. Podemos observar que o resultado tambem ficou

como o esperado. Como a media a posteriori de α3 foi igual a 0.1626, observamos que

as habilidades dos alunos que moram com suas maes e aumentada, tendo eles habilidade

54

Histogram of alpha2

alpha2

Fre

quen

cy

−0.20 −0.15 −0.10 −0.05

020

040

060

080

0


estimada de 118% da sua habilidade potencial, mantendo fixas as demais covariaveis

presente no modelo. Essa informacao e importante para ressaltar a importancia da

figura materna na vida escolar do aluno.


proficiencia θj para os 30 primeiros alunos. Em vermelho temos a media a posteriori e

em verde a mediana a posteriori. Podemos observar que as proficiencias desses 30 alunos

ficaram em torno de 1. Nesse grupo apenas os alunos 15 e 20 alcancaram proficiencia

media superior a 1.5 e os alunos 23 e 26 tiveram as menores proficiencias, em torno de

0.45.


logarıtmo da habilidade potencial ρj para os 30 primeiros alunos. Em vermelho temos a

media a posteriori e em verde a mediana a posteriori. A Figura 5.16 mostra a exponencial

dos dados plotados em 5.15, para visualizarmos a habilidade potencial dos 30 alunos.

Podemos observar que as habilidades potenciais desses 30 alunos ficaram em torno de 0.

Nesse grupo o aluno 14 teve a menor habilidade potencial e os demais alunos alcancaram

55

Histogram of alpha3

alpha3

Fre

quen

cy

0.10 0.15 0.20

020

040

060

080

010

0012

00


● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

0 5 10 15 20 25 30

0.0

0.5

1.0

1.5

2.0

2.5

nindiv

Par

âmet

ro T

heta

30

indi

vídu

os

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

● ●

●

●

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

0.0

0.5

1.0

1.5

2.0

2.5

Figura 5.14: Intervalos de 95 Credibilidade para os parametros θj, j = 1, . . . , J (Modelo

1)

nıveis proximos.

E de nosso interesse comparar os parametros θ com os parametros ρ. Como um

56

exemplo, observe as habilidades dos indivıduos 15 e 16. A Figura 5.14 mostra que θ15 e

bastante superior a θ16 - e essa seria a diferenca estimada por um ML3 usual. A Figura

5.16, mostra, entretanto, que ρ15 e ρ16 sao proximos e nao significativamente diferentes.

Interpretamos que os indivıduos 15 e 16 tem habilidades potenciais similares, porem

desenvolveram essas habilidades de maneira diferenciada devido a fatores externos.

●●

●

●

●

●

●

●

●

●

●● ●

●

●●

●●

●

●

●

●●

●

●

●

●●

●

●

0 5 10 15 20 25 30

−1.

0−

0.5

0.0

0.5

1.0

nindiv

Par

âmet

ro L

ogha

b 30

indi

vídu

os

●●

●

●

●

●

●●

●

●

●●

●

●

●●

● ●

●

●

●

●●

●

●

●

●●

●

●

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

−1.

0−

0.5

0.0

0.5

1.0

Figura 5.15: Intervalos de 95% de Credibilidade para os parametros log(ρj), j = 1, . . . , J

(Modelo 1)

57

●●

●

●

●

●

●

●

●

●●

●

●

●

● ● ● ●

●

●

●

●

●

● ●

●

●

●

●

●

0 5 10 15 20 25 30

0.0

0.5

1.0

1.5

2.0

nindiv

Par

âmet

ro H

abili

dade

Pot

enci

al d

e 30

alu

nos

●●

●

●

●

●

●

●

●

●●

●

●

●

●● ●

●

●

●

●●

●

● ●

●

●

●

●

●

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

0.0

0.5

1.0

1.5

2.0

Figura 5.16: Intervalos de 95% de Credibilidade para os parametros ρj, j = 1, . . . , J

(Modelo 1)

5.2.2 Aplicacao com o Modelo 2

Nessa secao, aplicamos o modelo 2 aos dados do Saeb. O modelo pode ser definido

da seguinte maneira:

p(yij = 1 | θjk, βi) = ci + (1− ci)1

1 + exp(−ai(θjk − bi))(5.4)

log(θjk) = α1X1 + α2X2 + α3X4 + log(ρj) + φjk

e as prioris: ai ∼ LN(0.5, 0.5); bi ∼ N(0, 1); ci ∼ Beta(5, 17); α1 ∼ N(0, 1); α2 ∼

N(0, 1); α3 ∼ N(0, 1); ρ ∼ N(0, 1); φjk ∼ CARP (0, 0.2P−1) para i = 1, . . . , I, j =

1, . . . , J e k e o total de regioes.

As covariaveis X1, X2 e X4 foram definidas na pagina 46.


iniciais de cada parametro foram gerados pelo software. O programa levou aproxima-

damente 50 horas para gerar uma cadeia com 15 mil iteracoes s, em um notebbok Dell

com processador intel core i3, 4 gb de memoria ram. A convergencia foi verificada visu-

almente apos um grande numero de iteracoes. Descartamos as primeiras 5 mil iteracoes

58

e realizamos toda a analise em uma cadeia com 10 mil amostras.


da discriminacao dos itens ai. Em vermelho temos a media a posteriori e em verde a

mediana a posteriori. Observe que os itens 2 e 18 nao discriminam bem e o item 10 tem

maior poder de discrimacao. Esse resultado foi o mesmo obtido para o Modelo 1.

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

● ●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

0 10 20 30 40

02

46

810

1214

Item

Dis

crim

inaç

ão a

_i

●

●

●

●●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●●

●●

●●

●

●

●

●

●

●

●

●

●

●

●

1 2 3 4 5 6 7 8 9 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38

02

46

810

1214

Figura 5.17: Intervalos de 95% Credibilidade para o parametro ai, i = 1,. . . , I (Modelo

2)


dificuldade dos itens, bi. Em vermelho temos a media a posteriori e em verde a mediana

a posteriori. Podemos observar que,assim como estimado sob o modelo 1, os itens mais

difıceis sao os 12, 13 e 39, e o item 1 foi o mais facil. Os demais itens tem seu parametro

de dificuldade entre 0 e 2 de forma bem distribuıda.


de acerto casual dos itens, ci. Em vermelho temos a media a posteriori e em verde a

mediana a posteriori. Os itens 2, 3, 15, 18, 26 e 39 apresentaram o parametro de acerto

casual entre 0.20 e 0.235. Para os demais itens, os parametros foram menores que 0.2, o

que e razoavel dado que as questoes de multipla escolha dessa prova possuia 5 opcoes.


59

●

●

●

●

●

●

●

●

●

●

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●●

●

0 10 20 30 40

0.5

1.0

1.5

2.0

2.5

Item

Par

âmet

ro b

●

●

●

●

●

●

●

●

●

●

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●●

●

1 2 3 4 5 6 7 8 9 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38

0.5

1.0

1.5

2.0

2.5

Figura 5.18: Intervalos de 95% de Credibilidade o parametro bi, i = 1,. . . , I (Modelo 2)

●

●

●

●

●

●

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

● ●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●●

0 10 20 30 40

0.0

0.1

0.2

0.3

0.4

0.5

Item

Par

âmet

ro c

●

●

●

●

●

●

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

1 2 3 4 5 6 7 8 9 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38

0.0

0.1

0.2

0.3

0.4

0.5

Figura 5.19: Intervalos de 95% de Credibilidade para o parametro ci, i = 1,. . . , I (Modelo

2)

associado a covariavel indicadora se o aluno estuda na rede publica. A linha em verme-

lho representa a media a posteriori de α1. Como a media a posteriori de α1 e igual a

-0.4042, observamos que as habilidades dos alunos que estudam em escola publica e redu-

zida. Esses alunos tem habilidade estimada de apenas 67% da sua habilidade potencial,

60

mantendo fixas as demais covariaveis presentes no modelo. Esse resultado confirma os

resultados obtidos pela analise exploratoria, e e proximo do obtido pelo Modelo 1.

Histogram of alpha1

alpha1

Fre

quen

cy

−0.45 −0.40 −0.35

020

040

060

080

0



associado a covariavel indicadora se o aluno trabalha. A linha em vermelho representa

a media a posteriori de α2. A media a posteriori de α2 foi igual a -0.1448. Observamos

que as habilidades dos alunos que trabalham e portanto reduzida. Esses alunos tem

habilidade estimada em 87% da sua habilidade potencial, mantendo fixas as demais

covariaveis presente no modelo. Esse resultado confirma os resultados obtidos na analise

exploratoria dos dados, e e similar ao do Modelo 1.


associado a covariavel indicadora se o aluno mora com sua mae. A linha em vermelho

representa a media a posteriori de α3. Podemos observar que o resultado tambem ficou

como o esperado. Como a media a posteriori de α3 foi igual a 0.1782, observamos que

as habilidades dos alunos que moram com suas maes e aumentada, tendo eles habilidade

estimada de 120% da sua habilidade potencial, mantendo fixas as demais covariaveis

61

Histogram of alpha2

alpha2

Fre

quen

cy

−0.20 −0.15 −0.10 −0.05

010

020

030

040

050

060

070

0


presente no modelo. Essa informacao e importante para ressaltar a importancia da

figura materna na vida escolar do aluno.

A Figura 5.23 apresenta os intervalos de 95% credibilidade para os parametros da

proficiencia θj para os 30 primeiros alunos. Em vermelho temos a media a posteriori e

em verde a mediana a posteriori. Podemos observar que as proficiencias desses 30 alunos

ficaram em torno de 1. Nesse grupo apenas os alunos 15 e 20 alcancaram proficiencia

media superior a 1.5 e os alunos 23 e 26 tiveram as menores proficiencias em torno de

0.45.


logarıtmo da habilidade potencial ρj para os 30 primeiros alunos. Em vermelho temos a

media a posteriori e em verde a mediana a posteriori. A Figura 5.25 mostra a exponencial

dos dados plotados em 5.24, para visualizarmos a habilidade potencial dos 30 alunos. Na

Figura 5.26 podemos observar o grafico espacial de acordo com o valor estimado pela

media a posteriori da variavel φ.

As estimativas desses parametros foram em geral similares as do Modelo 1. Algumas

62

Histogram of alpha3

alpha3

Fre

quen

cy

0.10 0.15 0.20 0.25

020

040

060

0


● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

0 5 10 15 20 25 30

0.5

1.0

1.5

2.0

nindiv

Par

âmet

ro T

heta

30

indi

vídu

os

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

0.5

1.0

1.5

2.0

Figura 5.23: Intervalos de 95% de Credibilidade para os parametros θj, j = 1, . . . , J

(Modelo 2)

mudancas significantes podem ser notadas, entretanto. Comparando ρ1 e ρ2 na Figura

5.16 (estimados pelo Modelo 1), observa-se que esses parametros tem estimativas muito

63

similares. A Figura 5.25 mostra, por outro lado, que ρ1 e superior a ρ2 quando estimados

pelo Modelo 2. Essa diferenca se da pelo fato de que o Estado de moradia do indivıduo

1 aprensenta piores condicoes de aprendizado que o do indivıduo 2. Dessa forma, com a

inclusao da componente espacial, o modelo leva essa informacao em consideracao. Note

que quanto mais negativo o valor de φk, pior a condicao de aprendizado do Estado k.

Como era de se esperar, Estados como Sao Paulo, Rio de Janeiro e Distrito Federal,

apresentaram boas condicoes de aprendizado. As piores condicoes foram para os estados

do Para, Amapa, Alagoas e estranhamente, Parana.

●

●

●

●

●

●

●

●

●●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

0 5 10 15 20 25 30

−1.

0−

0.5

0.0

0.5

nindiv

Par

âmet

ro L

ogha

b 30

indi

vídu

os

●

●

●

●

●

●

●

●

●●

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

−1.

0−

0.5

0.0

0.5

Figura 5.24: Intervalos de 95% de Credibilidade para os parametros log(ρj), j = 1, . . . , J

(Modelo 2)

64

●

●

●

●

●

●

●

●

●●

●

●●

●

●

●

●

●

●

●

●

●●

●

●

●

●●

●

●

0 5 10 15 20 25 30

0.0

0.5

1.0

1.5

2.0

nindiv

Par

âmet

ro L

ogha

b 30

indi

vídu

os

●

●●

●

●

●

●

●

●●

●

● ●

●

●

●

●

●

●

●

●

●●

●

●

●

●●

●

●

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

0.0

0.5

1.0

1.5

2.0

Figura 5.25: Intervalos de 95% de Credibilidade para os parametros ρj, j = 1, . . . , J

(Modelo 2).

Componente espacial

(−0.0746,−0.00257](−0.147,−0.0746](−0.219,−0.147](−0.291,−0.219](−0.363,−0.291]

Figura 5.26: Mapa do Brasil com a componente espacial estimada

65

Capıtulo 6

Consideracoes Finais

Nessa dissertacao, foi proposta uma modelagem que generaliza os modelos ML3 da

TRI, para permitir explicar parte da variacao observada nas habilidades atraves de co-

variaveis. A proposta foi introduzir uma estrutura linear para explicar o logaritmo da

habilidade dos indivıduos. Alem disso, foi proposto um segundo modelo com a inclusao

de um parametro capaz de captar possıveis correlacoes espaciais. Com essas propos-

tas, desejamos alcancar como resultado final modelos que sao capazes de estimar o que

chamamos de “habilidade potencial”.

Os modelos propostos foram aplicados aos dados do Saeb 2005, com a inclusao de

tres covariaveis que se mostraram significativas na analise exploratoria. Foram elas:

variavel indicadora se o aluno estuda em escola publica, se ele trabalha e se mora com

sua mae. Como resultado observamos que as habilidades dos alunos que estudam em

escolas publicas sao menores. Esses alunos tem sua habilidade estimada em 67% da

sua habilidade potencial. Para os alunos que trabalham, tambem observamos que sua

habilidade e diminuıda e estimada em 88% da sua habilidade potencial. No caso dos

alunos que moram com sua mae, sua habilidade e aumentada, chegando a 118% da sua

habilidade potencial.

No Modelo 2 foi proposta a inclusao de uma estrutura espacial para explicar a variacao

espacial que identificamos na analise exploratoria. Os resultados foram em geral similares

aos resultados obtidos no Modelo 1. Foi observado que ao analisarmos as habilidades

potenciais de determinados indivıduos no Modelo 1, e comparando com as habilidades

66

potenciais estimadas no Modelo 2, algmas mudancas significantes foram notadas. De

acordo com a componente espacial φ estimada, podemos notar que, como era de se

esperar, Estados como Sao Paulo, Rio de Janeiro e Distrito Federal, apresentaram boas

condicoes de aprendizado. As piores condicoes foram para os estados do Para, Amapa,

Alagoas e estranhamente, Parana.

Acreditamos que modelos desse tipo podem ser mais justos e eficientes em detectar

possıveis bons alunos, independentemente, por exemplo, do tipo de escola em que ele es-

tudou. Entao, uma contribuicao do nosso trabalho e oferecer uma opcao ao atual sistema

de cotas utilizado para o ingresso dos alunos em universidades, de maneira mais justa e

social, possibilitando maior inclusao dos membros da sociedade em grandes instituicoes

de ensino do nosso paıs.

67

Apendice A

Podemos entender a Estatıstica Espacial como uma area da estatıstica que estuda os

fenomenos ao longo do espaco, onde o interesse e fazer inferencia sobre as informacoes

provenientes desses fenomenos e nao apenas uma analise puramente descritiva das ab-

servacoes. Cressie (1993) apresenta a estatıstica espacial dividida em tres partes, de

acordo com os tipos de observacoes associadas ao espaco onde elas sao observadas, sendo

elas: geoestatıstica, dados de area e processos pontuais.

Em dados de area, as observacoes sao agrupadas em unidades possibilitando identificar

a existencia de padroes no espaco, areas crıticas e tendencias de crescimento espacial.

Estudos tambem podem ser feitos utilisando a medias das observacoes por regiao.

Para os dados de area, nao existe a possibilidade de uma resposta ocorrer entre as

localizacoes. A area de interesse pode ser dividida em areas regulares ou irregulares,

sendo dividida em k subregioes.

Os modelos que descrevem os dados de area sao conhecidos como campos aleatorios

Markovianos Gaussianos (CAMG). Tambem recebem o nome de modelos condicionais

auto-regressivos (CAR).

A.1 Dados de Area – Modelo CAR Intrınseco

Uma das modalidades da distribuicao CAR e conhecida como CAR intrınseco (CARI),

ou simplesmente CAR. Como o CAR e uma distribuicao impropria, so pode ser utilizada

como distribuicao a priori.

Para estruturar o modelo CAR, e preciso definir o conjunto de vizinhancas. De forma

geral, vamos supor que a regiao de interesse pode ser particionada em K subregioes. As

subregioes sao indexadas pelos inteiros 1, 2, . . . , k e as respostas para cada area k, ρk,

k = 1, ..., K, onde K e o total de regioes.

Defina Nk = l se a regiao l e vizinha a regiao k. Temos entao que Nk e o conjunto que

contem todas as regioes que sao vizinhas a regiao k. Esta vizinhanca pode ser definida

baseada na distancia maxima desta com a demais regioes. Uma outra maneira de definir

a vizinhanca de uma regiao k e agrupando as regioes que compartilhem fronteiras com a

68

regiao k. Essa estrutra e conhecida como estrutura de primeira ordem.

Uma regiao k e definida como vizinha da regiao l se a distribuicao condicional de ρl

dados todos os outros valores, dependa de ρk sempre que k 6= l. Ou seja, para toda regiao

na posicao k, a distribuicao condicional de Zk dado Z−k (o conjunto de todos as regioes

Z exceto a k-esima regiao) depende somente dos Z’s em Nk. Isto e,

p(zk | Z−k) = p(Zk | Zl, l ∈ Nk) ∼ N(µk, P−1) (6.1)

A estrutura de correlacao do CAR pode ser definida pela matriz de precisao P = D−C

utilisada por Vivar-Rojas (2004), onde D e uma matriz diagonal de ordem k e cada

elemento dii e igual ao total de vizinhos que a regiao i possui e os elementos da matriz

C e definido por:

(C)k,l =

ck,l, k ∈ Nl

0, caso contrario

Essa estrutura e conhecida como priori Car intrınseca (CARI). Essa estrutura tem

uma media µ envolvendo pesos padronizados. A precisao condicional depende da es-

trutura de iteracao entre as regioes, representada por cij. As formas tıpicas para cij

sao:

a) valor adjacente binario com cij = 1 se as areas i e j forem vizinhas, cij = 0 caso

contrario;

b) decaimento de distancia com cij = exp(−γdij) onde γ > 0 e dij sao as distancias

entre as areas centrais das regioes i e j.

A.2 Dados de Area – Modelo CAR Proprio

A distribuicao Gaussiana Car proprio e uma outra opcao que surge da distribuicao

CARI, inserindo um parametro ρ que relaciona a dependencia espacial absoluta inferior a

1. Entao, substituindo a matriz de precisao D−C do CARI por D− ρC garantimos que

essa precisao e nao singular (Car Proprio). A equacao da distribuicao pode ser escrita

da seguinte maneira:

φk ∼ CARP (µk, αP−1), P = D − ρC (6.2)

69

onde ρ esta entre o menor autovalor (φmin) e o maior autovalor (φmax) da matrizD−0.5CD−0.5

(Gelfand and Vounatsou, 2003, p. 15).

70

Referencias Bibliograficas

Alexandre, J.W.C., A. D. V. A. e Araujo, A. (2002) Uma proposta de analise de um

construto para a medicao dos fatores crıticos da gestao pela qualidade atraves da

teoria da resposta ao item. Gestao e Producao, v.9, n.2, 129–141.

Alves, C. B. (2004) Diferentes tecnicas no estudo do DIF: Uma analise com os dados do

ENC. Dissertacao de Mestrado, Universidade de Brasılia, Brasılia - DF.

Anastasi, A. (1988) Dynamic generalized linear models and bayesian forecasting. Psi-

choogical testing.

Andrade, D. F., T. H. R. V. R. C. (2000) Teoria de Resposta ao Item: Conceitos e

aplicacoes. ABE: Associacao Brasileira de Estatıstica.

Angoff, W. (1982) Use of difficulty and discrimination indices for detecting item bias.

Handbook of methods for detecting test bias.Baltimore, MD: Johns Hopkins University

Press.

Baker, F. B. (2001) The Basics of Item Response Theory. New York: University of

Wisconsin-Madison.

Beckman, R. M. (2001) Aplicacao dos blocos incompletos balanceados na teoria de res-

posta ao item. Estudos em avaliacao educacional, numero 24.

Besag, J. e Kooperberg, C. (1995) On conditional and intrinsic autoregressions. Biome-

trika.

71

Birnbaum, A. (1968) Some Latent Traits Models and Their Use in Inferring na Exami-

nee’s Ability. In: Statistical Theories of Mental Test Scores [edited by F. M. Lord and

M. R. Novick ]. Ma. Addison-Wesley, 397-472.

Cressie, N. (1993) Statistics for Spatial Data. New York: Wiley.

Fox, J, P. (2010) Bayesian Item Response Modeling. Statistics for Social and Behavioral

Sciences.

Fragoso, T. M. (2010) Modelos Multidimensionais da Teoria de Resposta ao Item. Dis-

sertacao de Mestrado, Instituto de Ciencias Matematicas e de Computacao - USP, Sao

Carlos - SP.

Gamerman, D.; Lopes, H. F. (2006) Markov Chain Monte Carlo: Stochastic Simulation

for Bayesian Inference. London: Chapman-Hall, 2a edn.

Gelfand, A. E., V. P. (2003) Proper multivariate conditional autoregressive models for

spatial data analysis. Biostatistics, 4.

Goncalves, F. B. (2006) Analise Bayesiana da Teoria de Resposta ao Item: uma aborda-

gem generalizada. Dissertacao de Mestrado, Universidade Federal do Rio de Janeiro,

Rio de Janeiro.

Hambleton, R. K., S. H. e Rogers, H. J. (1991) Fundamentals of Item Response Theory.

Newburry Park: Sage Publications.

Klein, R. e Fontanive, N. S. (1995) Avaliacao em larga escala: uma proposta inovadora.

Lord, F. M. (1952) A Theory of Test Scores. Psychometric Monograph. N. 7.

— (1980) Applications of ItemResponse Theory to Pratical Testing Problems. Hillsdale,

NJ: Erlbaum.

Lord, F. M., N. M. R. (1968) Statistical Theories o Mental Test Scores. Reading, MA:

Addison-Wesley.

72

May, H. (2006) A multilevel bayesian item response theory method for scaling socioeco-

nomic status in international studies of education. Journal of Educational Behavioral

Statistics, v.31, 63–79.

Natis, L. (2001) Modelos lineares hierarquicos. Estudos em avaliacao educacional,

numero 23.

Nojosa, R. T. (1997) Modelos multidimensionais para a Teoria de Resposta ao Item.

Dissertacao de Mestrado, Universidade Federal do Ceara, Ceara.

Paez, M. (2004) Analise de modelos para a estimacao e previsao de processos espaco-

temporais. Dissertacao de Mestrado, Universidade Federal do Rio de Janeiro, Rio de

Janeiro.

Pasquali, L. (2003) Psicometria: teoria dos testes na psicologia e na educacao. Petropolis

- Editora Vozes.

Raju, N. S. (1988) The area between two item characteristic curves. Psychometrika, 53,

495–502.

Rasch, G. (1960) Probabilistic Models for Some Intelligence and Attainment Tests. Co-

penhagen: Danish. Institute for Educational Research.

Saeb (2005) Manual do Saeb - Microdados do Saeb 2005. MEC - INEP.

Santos, V. L. F. (2009) Teoria de Resposta ao Item: uma abordagem generalizada das

Curvas Caracterısticas dos Item. Dissertacao de Mestrado, Universidade Federal do

Rio de Janeiro, Rio de Janeiro.

Soares, T. M. (2005) Utilizacao da teoria da resposta ao item na producao de indicadores

socios-economicos. Pesquisa Operacional, v.25, n.1, 83–112.

Tay, L., N. D. A. V. J. K. (2011) Using mixed-measurement item response theory with

covariates (mm-irt-c) to ascertain observed and unobserved measurement equivalence.

Organizational Research Mathods, 14,1, 147–176.

73

Vivar-Rojas, J. C. (2004) Uma nova classe de modelos espacos-temporais para dados de

area. Dissertacao de Mestrado, UFRJ - DME.

74

Incorporando Informa˘c~oes de Covari aveis para Explicar a ...

Documents

Transcript of Incorporando Informa˘c~oes de Covari aveis para Explicar a ...