Processament de Senyal, Imatge i Vídeo

presentació

Felipe Lumbreras RuizDept. Ciències de la Computació / Centre de Visió per Computador

Universitat Autònoma de Barcelonawww.cvc.uab.es/shared/teach/a104346/

104346 Processament de Senyal, Imatge i Vídeo (Grau Enginyeria de Dades)

102784 Visió per computador (Grau Enginyeria Informàtica)

Assignatura d’introducció al processament del senyal, les imatges i a la visió per computador

www.cvc.uab.es/shared/teach/a104346/

caronte.uab.cat/course/view.php?id=79

Què?

Visió per computador

“The science and engineering discipline concerned with making inferences about the external world, given one or more of its images”.

font: curs J. Malik

“The goal of computer vision is to extract useful information from images. This has proved a surprisingly challenging task; it has occupied thousands of intelligent and creative minds over the last four decades, and despite this we are still far from being able to build a general-purpose ‘seeing machine’”

font: Simon J.D. Prince book

pixels

data

knowledge

Processing

Analysis

Recognition

font: flickr , autor: uayebt

font: wikimedia commonsAndrej Karpathy blog: http://karpathy.github.io/2012/10/22/state-of-computer-vision/

Elements implicats

Sistema d'il·luminació Escena

Òptica,filtres,

extensorsCàmera

Digitalització, processament i

anàlisi

Hardware i software

Visualització

Captació

Elements implicats(sistema d’inspecció)

Elements implicats

Bibliografia

• David A. Forsyth and Jean Ponce, Computer Vision: A Modern Approach (2nd Edition), Prentice Hall 2011.

• Richard Szeliski, Computer Vision: Algorithms and Applications, Springer (Texts in computer Science) 2011. (http://szeliski.org/Book/).

• Rafael C. Gonzalez and Richard E. Woods, Digital Image Processing (3rd Edition), Prentice Hall 2007.

• Simon J.D. Prince, Computer Vision: Models, Learning, and Inference, Cambridge University Press, 2012. (http://www.computervisionmodels.com/)

• Joan Serrat, Llibre d’apunts de Processament d’imatges, 2006. (llibre)

Disciplines relacionades

• Processament del senyal (Signal Processing ): adequació i tractament de diferent tipus de senyals.

• Processament d’Imatges (Image Processing ): imatges, transformacions d’imatges en imatges.

• Reconeixement de Patrons (Pattern Recognition): Reconeixement i classificació d’objectes mitjançant imatges.

• Fotogrametria (Photogrametry): obtenció de mesures sense contacte.

• Visió industrial (Machine Vision): control de processos industrials a partir d’imatges.

• ...

Àrees

• Document Analysis• Biometrics• Surveillance• Medical Imaging• Automotive Safety• 3D Reconstruction• Quality Control• ...

www.cs.ubc.ca/~lowe/vision.htmlwww.cvc.uab.es/?page_id=72

Aplicacions/tècniques

• OCR (optical character recognition)

• Signature authentication• Fingerprint identification• Face detection/recognition• Object recognition• Stereo Vision• Panoramas• Multiple View Stereo• SLAM (simultaneous localization

and mapping)• Word spotting• Shape form shading• Shape from silhouette

• Shape from texture• Color naming• Recoloring• Lane departure warning• Pedestrian detection• Inpainting• Video segmentation• Optical Flow• Super-Resolution• Video stabilization• High Dynamic Range• Compression• Slit camera• …

Història

0,4M (2015), 0,7M (2017) hores de vídeo pujats a YouTube al dia

70M (2016), 95M (2017) fotos publicades a Instagram al dia

...

ImageNet: 14M imatges(https://en.wikipedia.org/wiki/List_of_datasets_for_machine_learning_research)

font: CVPR’12 FREAK: Fast Retina KeypointAlexandre Alahi, Raphael Ortiz, Pierre Vandergheynst

font: szeliski.org/Book/

1999 2008 2011 2012

Eines

• Acadèmia– Python– MatLab (Octave)– OpenCV– Deep Learning: TensorFlow (Keras), PyTorch

• Indústria– Python: TensorFlow (Keras), PyTorch– C++ : Caffe– OpenCV– MatLab– LabView– Programes i llibreries específiques

Difusió• Conferències

– ICCV (International Conference on Computer Vision)– ECCV (European Conference on Computer Vision)– CVPR (Int. Conf. on Computer Vision and Pattern Recognition)– ICPR (International Conference on Pattern Recognition)– ...

• Revistes– IEEE Transactions on Pattern Analysis and Machine Intelligence

(PAMI)– Computer Vision and Image Understanding (CVIU)– International Journal of Computer Vision (IJCV)– Pattern Recognition (PR)– ...

• Repositoris:– Arxiv: arxiv.org, (CS) www.arxiv-sanity.com

Àrees relacionades

• Mates (moltes), Física

• Intel·ligència Artificial

• Aprenentatge (Machine Learning)

• Gràfics per Computador

Geometria

Anàlisi

Imatges

Síntesi

Kinectfusion (Siggraph2011): www.youtube.com/watch?v=quGhaggn3cQFace2Face (CVPR2016): www.youtube.com/watch?v=ohmajJTcpNkPose estimation (CVPR2017): www.youtube.com/watch?v=pW6nZXeWlGM

Per ampliar coneixementsUAB• MOOC:

– Detección de objetos: www.coursera.org/learn/deteccion-objetos– Clasificación de imágenes: ¿cómo reconocer el contenido de una imagen?:

www.coursera.org/learn/clasificacion-imagenes

• Treballs Final de Grau • Pràctiques en Empresa• Màsters: pagines.uab.cat/mcv• Doctorats

Altres llocs• MOOC:

– Image and video processing: From Mars to Hollywood with a stop at the hospital. (https://www.coursera.org/course/images)

– Fundamentos del Procesamiento de Vídeo e Imagen Digital. (https://www.coursera.org/course/digital)

– Introducción a la visión por computador: desarrollo de aplicaciones con OpenCV. (https://www.edx.org/course/introduccion-la-vision-por-computador-uc3mx-isa-1x)

– Computational Photography.(https://eu.udacity.com/course/computational-photography--ud955)

– Machine Learning. (https://es.coursera.org/learn/machine-learning)

Com?

• Teoria

dimecres 10:30-12:30h, Q5-1012

• Problemes i pràctiques

dilluns 8:30-10:30h, Aula Informàtica A

laboratori tancat (assistència obligatòria)

HorariCalendari

setmana

PROBLEMES i PRÀCTIQUES TEORIA

dilluns 08:30-10:30 h, dimecres 10:30-12:30 h,

Aula Informàtica A, Q5-1012.

10/02/2020Presentació

Formació de la imatgeIntroducció a les eines: MatLab i PythonLab0 (treball individual)

17/02/2020 Formació Processament d'imatges

24/02/2020Processat

Filtrat lineal ILab1Lab0 correcció

02/03/2020 Filtrat lineal I Filtrat lineal II

09/03/2020Filtrat lineal II

Filtrat no lineal Lab2Lab1 correcció

16/03/2020 Filtrat no lineal Transf. Geomètriques

23/03/2020Transf. Geomètriques

Repàs/DubtesLab3 Lab2 correcció

30/03/2020(*) Correcció presencial

Repàs/Dubtesproblemes Bloc 1

06/04/2020 FESTA FESTA13/04/2020 FESTA Avaluació 1r bloc

20/04/2020Correcció examen

CaracterístiquesProj1Lab3 correcció

27/04/2020 Característiques Segmentació

04/05/2020Segmentació

ClassificacióProj2 Lab3 correcció

11/05/2020 Classificació Deep learning18/05/2020 Proj3 Presentació Aplicacions

25/05/2020(*) Correcció presencial

Repàs/Dubtesproblemes Bloc 2

Teoria/Problemes

• Exàmens (teoria, problemes)Prova1_2013 (sol), Prova2_2013 (sol), Prova1_2014 (sol), Prova2_2014 (sol),Prova1_2015 (sol), Prova2_2015 (sol),Prova1_2016 (sol), Prova2_2016 (sol),Prova1_2017 (sol), Prova2_2017 (sol).

• Problemes

Lliurament/Correcció de problemes (individual, presencial):

Bloc1 (dilluns 30/3/20),

Bloc2 (dilluns 25/5/20)

Pràctiques

• Assistència obligatòria

• Grups de 2 alumnes

• Dividit en 4 labs i un projecte (3 labs)Lab 0: individual, no presencial, introducció a les eines, correcció presencial (al Lab 1).

Lab 1,2,3: en grup, laboratori tancat

Projecte 1,2,3: projecte únic, proposat pel grup, laboratori tancat

Pràctiques

• Lab 0: introducció, eines, processament

• Lab 1: eliminació del fons, filtratge

• Lab 2: filtratge, correlació

• Lab 3: geometria, homografies

• Proj 1: definició, objectius, introducció

• Proj 2: seguiment, dubtes

• Proj 3: presentació pública

• codi

• codi

• codi

• codi

• document

• codi

• codi, doc, presentació

Avaluació

Nota Teoria = 0.5*Teoria Prova 1 + 0.5*Teoria Prova 2

Nota Problemes = 0.5*Problemes Prova 1 + 0.5*Problemes Prova 2

Nota de Pràctiques = 0.15*Lab1 + 0.2*Lab2 + 0.25*Lab3 + 0.4*Projecte

NOTA FINAL = 0.3*Nota Teoria + 0.3*Nota Problemes + 0.4*Nota Pràctiques + Notes extres (teo, pro, pra)

No hi ha notes mínimes a cap de les avaluacions.

A l'examen final es podran recuperar per separat les parts: Teoria Prova 1, Teoria Prova 2, Problemes Prova 1, Problemes Part 2. No baixa nota, ens quedem amb la millor de les diferents parts.

Avaluació

Nota Final

112%

Nota Teoria 30%Teoria prova 1 15% 15%

Teoria prova 2 15% 15%

Nota Problemes

30%Problemes prova 1 15% 15%

Problemes prova 2 15% 15%

Nota Pràctiques

40%

Lab1 6% 6%

Lab2 8% 8%

Lab3 10% 10%

Proj 16%

Proj. sessió 1 2%

Proj. sessió 2 4%

Proj. sessió 3 4%

Proj. presentació 2%

Proj. aval. classe 2%

Aval. intragrup 2% 2%

Notes extres

12%

Article 1 2% 2%

Article 2 2% 2%

Prob. Bloc 1 2% 2%

Prob. Bloc 2 2% 2%

Lab0 2% 2%

Lab4 2% 2%

Qui?

Professor

• Felipe Lumbreras Ruiz

teoria/problemes/pràctiques

Felipe.Lumbreras@uab.cat, felipe@cvc.uab.es

Consultes: dijous de 9:30 a 11:30 (QC-1048)

contacteu per email abans de venir

www.cvc.uab.es/shared/teach/a104346/

caronte.uab.cat/course/view.php?id=79