Clasificación de Páginas web usando Marcadores sociales

Facultad de Ciencias ExactasUniversidad Nacional del Centro de la Provincia de Buenos Aires (UNICEN)

Nicolás A. Tourné

Directora: Dra. Daniela Godoy

Tandil, Argentina. 1 de Julio, 2011

Clasificación de Documentos Web Clasificación de Documentos Web utilizando Marcadores Socialesutilizando Marcadores SocialesTesis de GradoTesis de Grado. Ingeniería de Sistemas. Ingeniería de Sistemas

1. Introducción

2. Marcadores sociales

3. Recursos utilizados

4. Desarrollo de la investigación

5. Conclusiones

Agenda

Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

tags: internet, directorio web, data mining, web mining, web 2.0, marcadores sociales

1 IntroducciónIntroducción

tags: internet, directorio web, data mining, web mining, web 2.0, marcadores sociales

1 IntroducciónIntroducción

Marco teórico• Nuevo medio de comunicación: INTERNET.• Crecimiento exponencial de páginas web a fines de los 90’.• Creación de directorios web.• Se comienza a pensar en “categorización automática”.

Data mining• Extracción no trivial de información.• Data mining = estadísticas + IA + machine learning• A partir del rotundo crecimiento de la web, se habla de

web mining.• La clasificación es una técnica muy utilizada.

• Colaboración e intercambio ágil de información entre los usuarios.

• Nuevos servicios: blogs, wikis, redes sociales, etc.

• Surgimiento de los marcadores sociales.

La Web 2.0

Propuesta

¿Los marcadores sociales sonútiles para ser empleados en la

clasificación automática de documentos web?

categorizaciónautomática

marcadoressociales

a mayor información,mejores predicciones+ +

tags: palabras claves, tagging colaborativo, folcsonomía, social bookmarks

2 Marcadores socialesMarcadores sociales

tags: palabras claves, tagging colaborativo, folcsonomía, social bookmarks

2 Marcadores socialesMarcadores sociales

Etiquetas (tags)• Palabras claves asignadas a un recurso escogidas

libremente.• No siguen regla formal de escritura.• Significado social y oculto.• Comportamiento “power law”.

Tagging colaborativo (1)

• Sistemas de clasificación colaborativa por medio de etiquetas simples.

• Surgen de la participación de varios usuarios.

• Comúnmente se produce en entornos de software social.

Tagging colaborativo (2)

• Folcsonomía, clasificación gestionada por el pueblo.

• Se compone de 3 entidades vinculadas.

• Folcsonomías amplias y estrechas.

• Varias deficiencias.

Usuario 1 Usuario 2

Recurso NRecurso 1 Recurso 3 Recurso 4Recurso 2

Tag 1Tag 2

¿Qué son los marcadores sociales?• Forma sencilla de almacenar, clasificar

y compartir enlaces en internet.

• Los usuarios guardan una lista derecursos que consideran útiles.

• Los recursos son categorizadosmediante etiquetas o tags.

tags: dataset, CABS120k08, weka, clasificador, Naive Bayes, SMO, parser

Recursos utilizadosRecursos utilizados3

tags: dataset, CABS120k08, weka, clasificador, Naive Bayes, SMO, parser

Recursos utilizadosRecursos utilizados3

Colección de datos CABS120k08• Consiste en casi 120 mil URLs con metadatos adicionales

presentado en formato XML, basados en la intersección de:

500k random queries

Categorías

Anchors text

Weka• Software para aprendizaje automático y data mining

escrito en Java. Licencia GNU-GPL.

• Soporta varias tareas de data mining como clasificación,clustering, pre-procesamiento de datos, regresión, etc.

• En la investigación se utilizaron los algoritmos de clasificación Naive Bayes y SMO.

• Formato de archivo plano ARFF.

Parser: CABS120k08 » ARFF• Se ha construido en Java para convertir CABS120k08 a ARFF.

• Filtros aplicados a cada documento:

Reemplazarcódigo HTML

Eliminaracentos

Eliminarcaracteres espec.

Aplicarstemming

Eliminarstop-words

Documento

Documentofiltrado

tags: Naive Bayes, SMO, percentage split, cross- validation, tags, anchor-text, queries

Desarrollo investigaciónDesarrollo investigación4optimización, baseline, WordNet, spell-check

tags: Naive Bayes, SMO, percentage split, cross- validation, tags, anchor-text, queries

Desarrollo investigaciónDesarrollo investigación4optimización, baseline, WordNet, spell-check

Resumen• Procedimiento utilizado:

Generaciónde datasets

Pre-procesam.de c/ dataset

ClasificaciónAnálisis de resultados

Optimizaciones

datasetsCABS120k08.xml datasetspre-procesados

Generación de datasets• Cada dataset está compuesto por los mismos 19.583

documentos, representados a partir de distintas fuentes de información:

queries anchor text tags

queries +anchor text

queries + tags

anchor text +tags

queries +anchor text +

Análisis de resultados• Primero, se decide cuál es el mejor clasificador:

- Naive Bayes- SMO (PolyKernel)- SMO (RBFKernel)

• Se utiliza la configuración por defecto para cada clasificador: Percentage split (66%) y Cross-validation (10 folds).

Resultados » Naive Bayes

Percentage split, 66% Cross-validation, 10 folds

anchortext

query+anchortext

query+tags

anchortext+tags

query+anchortext+tags

57,92% 60,38%

Resultados » SMO (PolyKernel)

anchortext

query+anchortext

query+tags

anchortext+tags

64,34% 65,40%

Resultados » SMO (RBFKernel)

anchortext

query+anchortext

query+tags

anchortext+tags

49,67% 51,48%

Selección del clasificador• La performance de los clasificadores evaluados es la

siguiente:SMO

(PolyKernel)

NaiveBayes

SMO (RBFKernel)

Elección del dataset ideal• Pruebas realizadas con distintos % de entrenamiento.

anchortext+tags85% inst. = 64,96%

• Pocas instancias de entrenamiento, pobres resultados

• Los tags son el recurso de mayor aporte a la clasif.

• Las queries perjudican la clasificación

anchortext+tags

queries

Optimizaciones• Llevar a cabo una serie de cambios para lograr mejorar los

resultados de la clasificación.

• Se utiliza el categorizador SMO (PolyKernel) y Percentage split como modo de entrenamiento.

• Se define un baseline.

#1 - Sin aplicar stemming (1)

• No se aplica stemming en la generación del dataset.

Eliminaracentos

Aplicarstemming

Eliminarstop-words

Documento

Documentofiltrado

baseline85% inst. = 64,96%

no stemming85% inst. = 59,89%

• Existen casos como:

Se descarta esta optimización

no stemming computer (28) compute (16) computadora (8) computation (1)

baseline compute (53)

#2 - Sinónimos (WordNet) (1)

• Encontrar sinónimos a cada término del dataset.

Eliminaracentos

Aplicarstemming

Eliminarstop-words

Documento Documentofiltrado

Generarsinónimos

sinónimos 85% inst. = 56,22%

• Si bien hubo casos donde los sinónimos fueron ventajosos, se incorporó demasiada información para muchos otros términos.

“computer” = “computing machine”, “computing device”, “data processor”, “electronic computer”

Se descarta esta optimización

#3 - Spell-check (1)

• Corrección de los errores ortográficos encontrados.

Eliminaracentos

Aplicarstemming

Eliminarstop-words

Documento Documentofiltrado

Aplicarspell-check

para cadatérmino

#3 - Spell-check (2) » Tumba

spell-check Tumba85% inst. = 70,12%

#3 - Spell-check (3) » JaSpell

spell-check JaSpell85% inst. = 71,25%

#3 - Spell-check (4) » Hunspell

spell-check Hunspell85% inst. = 69,12%

#3 - Spell-check (5)

• Los 3 spell-checkers mejoran los resultados del dataset baseline.Es JaSpell quien logra una pequeña diferencia con respecto a sus pares.

Se acepta esta optimización

#4 - Spell-check mejorado (1)

• La idea es mejorar el spell-check anterior. Evitar la pérdida de términos cuando no existen sugerencias.

Eliminaracentos

Aplicarstemming

Eliminarstop-words

Documento

DocumentofiltradoAplicar

Spell-check

para cada término

¿Traducción?

¿Abreviación?

términotraducido

incorrectos y sin sugerencias

términosoriginales

se descarta el término

spell-check mejorado85% inst. = 72,35%

• Los resultados mejoran al spell-check anterior.La mejora se debe a los nuevos términos presentes en el dataset que antes eran descartados.

Se acepta esta optimización(y reemplaza la anterior)

tags: marcadores sociales, beneficios, clasificación, búsqueda web

ConclusionesConclusiones5

tags: marcadores sociales, beneficios, clasificación, búsqueda web

ConclusionesConclusiones5

Conclusiones generales

os marcadores sociales efectivamente aportan valor a la clasificación automática de documentos web

¿Preguntas?

¡Muchas gracias!

Clasificación de Páginas web usando Marcadores sociales

Technology

Transcript of Clasificación de Páginas web usando Marcadores sociales

Tema marcadores enologia ampliado 2011 - Portal principal de … · 1ª ) Mapas de ligamiento usando marcadores

ESTUDIO GENETICO UTILIZANDO MARCADORES MICROSATELITES DE ... · de esta matriz y usando los programas NTSYS-pc (Numerical Taxonomy System for personal computer), TFPGA (Tools for

MARCADORES INFLAMATORIOS

MARCADORES GENÉTICOS Y NUEVOS MARCADORES …

Insertar marcadores

2Sondas marcadores

Enseñanza de la bibliotecología usando software social · Palabras Claves Web 2.0, software social, enseñanza, bibliotecología, blogs, rss, marcadores sociales. Abstract Brief

MARCADORES MOLECULARES

Marcadores presentación

"Creación de Mapas Android" con Marcadores usando la API de Google Maps

Marcadores Tumorales

Geologia Estrutural: Marcadores Cinemáticoshome.ufam.edu.br/ivaldo/Aulas/Geologia Estrutural... · Marcadores Cinemáticos MARCADORES CINEMÁTICOS. Marcadores Cinemáticos. atiop-

Marcadores tumorales_texto

Marcadores sociais

marcadores cardíacos

Marcadores sociales

MARCADORES MOLECULARES Breve revisión de los marcadores moleculares

Marcadores moleculares basados en PCR: Marcadores SSR o …

Diversidad genética en variedades de caña de azúcar … · Web viewDIVERSIDAD GENÉTICA EN VARIEDADES DE CANA DE AZÚCAR Saccharum spp. USANDO MARCADORES MOLECULARES ... distribuyeron

Marcadores Celulares