Pyxel, una llibreria per a l’anotació automàtica de fotografies

Irene Gris Sarabia

Supervisat perXavier Giró i Nieto

Agraïments

Amaia Salvador

Xavi Giró

Sergi ImedioEva Mohedano

Daniel Manchón

IndexIntroducció

RequerimentsEstat de l’art

Disseny Desenvolupament

Avaluació i resultatsConclusions

3

IndexIntroducció

RequerimentsEstat de l’art

Disseny Desenvolupament

Avaluació i resultatsConclusions

4

5

Motivació

6

Introducció Pyxel

Pyxel ja està disponible a la plataforma de control de versions Bitbucket

URL: https://bitbucket.org/emohe/pyxel/src

IndexIntroducció

RequerimentsEstat de l’art

DesenvolupamentDisseny i Implementació

Avaluació i resultatsConclusions

7

Requeriments

8

Crear un sistema complert i genéric d’anotació d’imatges

Extracció de característiques; visuals i textuals

Entrenament i Detecció

Avaluació de la qualitat de les

anotacions automàtiques

Usuaris potencials → Estudiants universitaris

● Facilitar l’accés a llibreries externes als usuaris que s’inicien en la materia

● Proporcionar eines per obtenir el sistema complert de forma sencilla i ràpida.

Que es demana?

Requeriments

9

Crear un sistema complert i genéric d’anotació d’imatges

Que es demana?

Manual Annotations Model

Trainer

New Image New Annotation

Detector

Bloc: http://bitsearch.blogspot.com/search/label/classification

Requeriments

10

Extracció de característiques visuals

Extracció de característiques SIFT

Generació d’un vocabulari visual

Obtenció dels vectors de característiques BoF

Requeriments

11

Extracció de característiques visuals

Extracció de característiques SIFT

Generació d’un vocabulari visual

Obtenció dels vectors de característiques BoF

w1

w2

w3

w4w1 w2 w3 w4

Clusterització

Paraules visuals

Requeriments

12

Extracció de característiques visuals

Extracció de característiques SIFT

Generació d’un vocabulari visual

Obtenció dels vectors de característiques BoF

2 3 3 0

w1

w2

w3

w4

w1 w2 w3 w4

Vector de caraterístiques

Requeriments

13

Extracció de característiques textuals

Obtenir les metadades de la imatge; etiquetes

Generació d’un vocabulari textual

Obtenció dels vectors de característiques TF-IDF

[ I, love, surf ]

Títol: “I love university concerts”

Metadades

Títol: “I love surf”

[ I, love, university, concerts ]

Requeriments

14

Extracció de característiques textuals

Obtenir les metadades de la imatge; etiquetes

Generació d’un vocabulari textual

Obtenció dels vectors de característiques TF-IDF

TF-IDF → [ 0 , 0 , 0.3 , 0.3 , 0.3 ] [ I , love, university, concerts, surf ]

[ university, concerts, surf, I, love ]

[ 0.3 , 0.3 , 0.3 , 0, 0 ]

Vocabulari/Diccionari → [ university, concerts, surf ]

Requeriments

15

Extracció de característiques textuals

Obtenir les metadades de la imatge; etiquetes.

Generació d’un vocabulari textual

Obtenció dels vectors de característiques TFIDF

Vocabulari/Diccionari → [ university, concerts, surf ]

[ I, love, surf ]

[ I, love, university, concerts ] [ 1 , 1 , 0 ]

[ 0 , 0 , 1 ]

Requeriments

16

Mesures de qualitat

Que es demana?

docId1 Label1docId2 Label1docId3 Label2docId4 Label3

.

.

.docIdn Labeln

Avaluació F1

F1

docId1 Label1docId2 Label4docId3 Label2docId4 Label3

.

.

.docIdn Labeln

cp = certs positius

fp = falsos positius

fn = falsos negatius

Ver

itat T

erre

nyA

nota

cion

s pr

edite

s

IndexIntroducció

RequerimentsEstat de l’art

Disseny Desenvolupament

Avaluació i resultatsConclusions

17

Estat de l’artExtracció de característiques

visuals

18

NLTKNatural LanguageToolKit

Extracció de característiques textuals Reconeixement de patrons

IndexIntroducció

RequerimentsEstat de l’art

Disseny Desenvolupament

Avaluació i resultatsConclusions

19

Disseny

20

Extracció de característiques; visuals i textuals

Classificació

Avaluació de la qualitat de les

anotacions automàtiques

Disseny general de classificació

Imatge Metadades

BofExtractor

Trainer

TFIDFExtractorVisualVocabulary

Trainer

Visual Model Textual ModelTRAIN

TEST Imatge Metadades

BofExtractor TFIDFExtractor

DetectorDetectorVisual Model Textual Model

PredictedAnnotation PredictedAnnotation

TextualVocabulary

Evaluator

=

Evaluator

Extracció de característiquesDisseny

21

Imatge Metadades

BofExtractor

Trainer

TFIDFExtractorVisualVocabulary

Trainer

Visual Model Textual ModelTRAIN

TEST Imatge Metadades

BofExtractor TFIDFExtractor

DetectorDetectorVisual Model Textual Model

PredictedAnnotation PredictedAnnotation

TextualVocabulary

Evaluator

=

Evaluator

EntrenamentDisseny

22

Classe Semantica + + Classe Semantica

Són la mateixa classe

Imatge Metadades

BofExtractor

Trainer

TFIDFExtractorVisualVocabulary

Trainer

Model Visual Model TextualTRAIN

TEST Imatge Metadades

BofExtractor TFIDFExtractor

DetectorDetectorVisual Model Textual Model

PredictedAnnotation PredictedAnnotation

TextualVocabulary

Evaluator

=

Evaluator

EntrenamentDisseny

23

Imatge Metadades

BofExtractor

Trainer

TFIDFExtractorVisualVocabulary

Trainer

Visual Model Textual ModelTRAIN

TEST Imatge Metadades

BofExtractor TFIDFExtractor

DetectorDetectorVisual Model Textual Model

PredictedAnnotation PredictedAnnotation

TextualVocabulary

Evaluator Evaluator

DeteccióDisseny

24

Són la mateixa classe

Imatge Metadades

BofExtractor

Trainer

TFIDFExtractorVisualVocabulary

Trainer

Visual Model Textual ModelTRAIN

TEST Imatge Metadades

BofExtractor TFIDFExtractor

DetectorDetectorVisual Model Textual Model

PredictedAnnotation PredictedAnnotation

TextualVocabulary

Evaluator Evaluator

DeteccióDisseny

25

Imatge Metadades

BofExtractor

Trainer

TFIDFExtractorVisualVocabulary

Trainer

Visual Model Textual ModelTRAIN

TEST Imatge Metadades

BofExtractor TFIDFExtractor

DetectorDetectorVisual Model Textual Model

PredictedAnnotation PredictedAnnotation

TextualVocabulary

Evaluator Evaluator

AvaluacióDisseny

26GroundTruth GroundTruth

Són la mateixa classe

Són la mateixa classe

Són la mateixa classe

Imatge Metadades

BofExtractor

Trainer

TFIDFExtractorVisualVocabulary

Trainer

Visual Model Textual ModelTRAIN

TEST Imatge Metadades

BofExtractor TFIDFExtractor

DetectorDetectorVisual Model Textual Model

PredictedAnnotation PredictedAnnotation

TextualVocabulary

Evaluator Evaluator

Disseny

27

IndexIntroducció

RequerimentsEstat de l’art

Disseny DesenvolupamentAvaluació i resultats

Conclusions

28

Llenguatge de programacióDesenvolupament

29

Entorn de desenvolupamentDesenvolupament

30

Té llicencia per estudiants

IndexIntroducció

RequerimentsEstat de l’art

Disseny Desenvolupament

Avaluació i resultatsConclusions

31

32

Contribució a Pyxel

20 % 40 % 90 %60 %

Dataset, Annotation, AnnotatedSemanticClass, Ontology

VisualVocabulary, SiftExtractor, BofExtractorTextualVocabulary, TfidfExtractor

100 % 100 %

Metadata, GroundTruth

Trainer

100 %

DetectorEvaluator

Avaluació i resultats

100 %

Documentació

Avaluació i resultats Detecció de productes de supermercat en vídeos

egocèntrics

33

Sergi Imedio, “An investigation of eye gaze tracking utilities in image object recognition”. Dublin City University 2014.

Avaluació i resultats

34

Amb Pyxel es poden obtenir aquests resultats

Avaluació i resultatsDetecció d’esdeveniments en

fotografies d’Instagram

35

Els estudiants de GDSA han utilitzat Pyxel per fer un clasificador d’imatges de tipus d’esdeveniments.

IndexIntroducció

RequerimentsEstat de l’art

Disseny Desenvolupament

Avaluació i resultatsConclusions

36

Conclusions

37

Objectius del projecte

Sistema complert d’anotacions d’imatges● Extracció de característiques● Anotació● Avaluació

Utilització d’altres usuaris

● Han aconseguit dur a terme el que se'ls demanava utilitzant Pyxel● Han extès la llibreria per ajustar-la a les eines amb les que han volgut fer el

processat

Conclusions

38

Participació al ICMR

Detalls: https://imatge.upc.edu/web/publications/photo-clustering-social-events-extending-phototoc-rich-context

Conclusions

39

Participació al MediaEval2014

Manchon-Vizuete, D., Gris-Sarabia, I., Giro-i-Nieto, G. “UPC at MediaEval 2014 Social Event Detection Task”. Working Notes Proceedings of the MediaEval 2014 Workshop, Barcelona, Catalunya, Spain, October 16-17, 2014, CEUR-WS.org, online ceur-ws.org/Vol-1263/mediaeval2014_submission_58.pdf

40

Moltes gràcies!