2-evaluacion (2).ppt

7/23/2019 2-evaluacion (2).ppt

1/29


2/29

Almacenamiento y recuperacin deinformacin en la Web

Evaluacin de larecuperacin

Objetivo: evaluar la funcionalidad y ecienciade un sistema de IR

Medidas usuales de evaluacin:Tiempo de respuesta

Espacio utilizado

Evaluacin de la eciencia de recuperacin basadaen

Colecciones pruebaTIP!TER"TRE#$ #%#M$ #I!I$&'

Diferentes medidas de evaluacin Recall yPrecision

M%P$ etc(


3/29


Medidas de evaluacinrecallyprecision

El usuario desea realizar una solicitud deinformacin sobre una coleccin de docs

!ean R: docs relevantes

%: docs respuesta

aR

Precision=A

( )aR Card A R=

aRRecall=

R

|R|

|A|

Coleccin


4/29


Evolucin recuperacin ) precisinEjemplo

orden orden orden

1 d123 6 d9 11 d38

2 d84 7 d11 12 d48

3 d56 8 d129 13 d2!

4 d6 9 d187 14 d113

d8 1! d2 15 d3

{ }

{ }

{ }

{ }

3 56 129

123

123 84

123 84 56

, , documentos relevantes

---

1

0 0Recall 0 Precision 0

3 1

---

, 2

0 0

Recall 0 Precision 03 2

---

, , 3

1 1Recall 0,33% Precision 0,33%

3 3

qR d d d

A d A

A d d A

A d d d A

=

= =

= = = =

= =

= = = =

= =

= = = =

"uponemo# la# #i$uiente tabla de doc# recuperado#


5/29


Evolucin recuperacin ) precisinEjemplo

Doc |A| |R a| |R| Recall Precision

1 1 ! 3 ! !

2 2 ! 3 ! !

3 3 1 3 33%3 33%3

4 4 1 3 33%3 2

1 3 33%3 2!

6 6 1 3 33%3 16%6

7 7 1 3 33%3 14%2

8 8 2 3 66%6 2

9 9 2 3 66%6 22%2

1! 1! 2 3 66%6 2!

11 11 2 3 66%6 18%1

12 12 2 3 66%6 16%6

13 13 2 3 66%6 1%3

14 14 2 3 66%6 14%2

1 1 3 3 1!! 2!


6/29


Evolucin recuperacin * precisin

Para la representacin de las curvas recall-precision+eneralmente se emplean ,, nivelesde recuperacin

0

20

40

60

80

100

120

0 20 40 60 80 100 120

Recall

Precision


7/29


#onsideraciones +enerales sobre lasmedidas r y P

En colecciones +randes no es posibledisponer de un conocimiento detallado delos docs(

#onsiderar la combinacin de ambasmedidas r y P'(

-as medidas de r y P son para queriesprocesadas en modo batch( Para sistemasde IR interactivos son m.s convenientesmedidas /ue cuanti/uen la bondad delproceso(


8/29


Medida de Precisinpromedio

0esde el punto de vista delas medidas de evaluacin$los al+oritmos derecuperacin search

engines' eval1an diferentesqueriespara evaluar suecacia(

2na forma 3abitual deevaluar un al+oritmoconsiste en promediar lasdistintas precisionesobtenidas para cada queryen cada nivel derecuperacin(

( )

( )i

q

P r Precision media al nivel r de recuperacion

P r Precision al nivel r para la i-esima q

N N de qs utilizadas

1

1( ) ( )

qN

i

iq

P r P rN =

=


9/29


Interpolacin de la PrecisinPromedio

Para representar la evolucin de laprecisin promedio se efect1a una

interpolacin de las precisiones encada nivel de recuperacin

{ }

1

( ) ma ( )

0,1, 2, ,10

j jr r r

j

P r P r

r

+ =

4


10/29


Interpolacin de la PrecisinPromedio

Ejemplo R/56d7$d89$d,;$d56$d9$d=$d;$d8,,$d129$d,=?$d8$d7=$d>=$d8@$d,,7$d3$ @(7 %vPB8 5 ,C(99C(8C(>C(7'"8 5 @(8?


12/29


Medida de R*Precision

-a idea es +enerar un valor resumen delranDin+ mediante la precisin en laposicin R*sima del ranDin+$ siendo R el nFtotal de docs relevantes para una query Para R/56d7$ d8$d;$d8$d7;$d>>$d89$d?,$ d=;$d,7 > docs relevantes en los ,@primeros'

Para R/56d7$d89$d,; artGculos de Communications of the AC" #$%&'-

$%(%) Campos

Autores* fecha edicin* palabras clave #reducidas a su ra+,gramatical) de t+tulo y abstract* referencias entreart+culos* bibliograf+a* etc

Incluye un conjunto de 8 solicitudes de informacin(Ej: ./u0 art+culos hay que traten de 1SS #1ime

Sharing System)* sistema operativo de ordenadores2"3 El nF medio de docs relevantes para cada I es pe/ueSo$ en

torno a ,8(


28/29


#olecciones$ III

I!I o #I!I' ,>9@ docs esco+idos del I!I Institute of !cientic

Information' -os docs esco+idos se seleccionaron como los m.s citados en

un estudio sobre citacin realizado por !mall Propsito +eneral: facilitar la investi+acin sobre similaridades

basadas en trminos y patrones de referencias cruzadas #ampos

Autores* palabras clave #reducidas a su ra+, gramatical) de t+tulo yabstract y n4 de .cocitaciones3 para cada par de art+culos

Incluye un conjunto de 78 solicitudes de informacin en - y/s booleanas y >, slo en -( El nF medio de docs relevantes para cada I es +rande$ en torno a

8@(


29/29


#alidad de los resultados

!e pueden aplicar los criterios de medida de laIR cl.sica a la 5ebU

En IR cl.sica las medidas usadas son: Precisin: A de p.+inas recuperadas /ue son

relevantes Recuperacin: A de p.+inas relevantes /ue son

recuperadas

En 5ebIR:

El trmino relevantese li+a al de calidad 2na p.+ina es valorablesi es una p.+ina de calidadpara el objeto de la b1s/ueda

Precisin: n1mero de p.+inas valorables recuperadas

2-evaluacion (2).ppt

Documents

Transcript of 2-evaluacion (2).ppt