Vision Artificial _UNI TERRASSA 2010

: Visión Artificial una tecnología industrialUlrich Druzella

Responsable Visión Artificial SICK España

XVI JORNADES de CONFERÈNCIES

JCEE’10

Tendències, aplicacions, recerca i docència

en el camp de l’ Enginyeria Electrònica

2: SICK : Confidential

SICK - at a glance

: Fundado en el 1946 – más de 60 años trabajando - con tecnología de sensores

: Más de 4,700 empleados en todo el mundo

: Más de 40 subsidiarias

: Rango más amplio de productos en la industria de sensores

: Líder en Innovaciones

SICK - one of the leading manufacturers of sensors and sensor solutions for industrial applications worldwide


Contenido

Historia estado actual

Introducción Visión artificial

Visión 2D

Tipos iluminación, sensor, óptica

Aplicaciones

Visión 3D

Cámaras 3D inteligentes

Cámara 3D datastreamer

Aplicaciones


Historia

: En los años ‘70 se empezaron a a realizar la primeras investigaciones

: Siendo una tecnología militar para analizar imágenes captadas por ejemplo por satélites

: hasta los ’90 no tiene salida en números altos de aplicaciones por el precio elevado de sus componentes

: Desde mediados de los noventa se aumentó significativamente su aplicación gracias a la caída de precios de sensores y procesadores

Fuente de datos:


Sectores para Visión Artificial en la industria

Packaging

AutomociónAlimentación

Robótica

ElectrónicaMadera

FarmaManufacturing

Logística


Qué es Visión artificial?

: Beneficios:- Aumentar la producción

- Mejorar la calidad

- Reducir el trabajo monótono (control repetitivo etc.)

1. Take image

4. Take action 2. Analyze image

3. Send result

Wait for n

ew object

: Con visión artificial pretendemos reemplazar o complementar inspecciones manuales y mediciones con cámaras digitales y procesamientos de imágenes.


Componentes de una solución de visión

: Componentes típicos en una solución de visión- Cámara, lente e iluminación especial

- Sistema de control, PLC

- Interfase operador (HMI)

- Trigger

- Actuador

- Cinta transportadora o soporte del objeto

- (Robot)

Pieza mala

Robot

Interface Operador

(front-end)

Fotocélula

Cámara

Cinta Actuador

Piezas buenas

PLC

IluminaciónLente


Tipos de cámaras según flexibilidad y facilidad para usar

: Sensor de Visión- Fácil de usar- Específico para ciertas aplicaciones o configurable

pero limitado - Trabaja sin PC en la aplicación

: Cámara Inteligente- Flexible, programable con herramientas fáciles de

aplicar - Trabaja sin PC en la aplicación

: Cámaras basadas en un PC- Totalmente flexible, programables con lenguaje de

programación (C++, .NET, etc)- La cámara solo toma la imagen, el PC analiza

mediante SW o programación especial

Sensor de Visión o cámara inteligente

Aplicación basada en PC


Tipos de cámara según la Dimensión

: 1D (line scan)- Colecciona perfiles de color o grises- Los perfiles se pueden ensamblar para formar una

imagen- Escanear, requiere movimiento del objeto

: 2D- Adquiere una imagen de un área - Snapshot, ”click”, no requiere movimiento

: 3D- Genera una imagen 3D como un mapa de alturas o

una ”nube de puntos” (360° imaging)- Realizable con 2 cámaras (estéreo visión) o con un

Escáner con un láser (triangulación) - MultiScan 1D, 2D, 3D, y más con la misma cámara al

mismo tiempo! (RANGER)


Sensores de Visión

Cámaras inteligentes con Software integrado

Cámaras con el análisis basado en PC

Aplicáciones básicas de visión 2D

Ordenar por características opticas, presencia, mediciónes limitadas, resoluciones limitadas, distancias más cortas

3D inteligente

Software potente de analisis

OCR/OCV, volumenes, alturas dimensiones

Cámara 3D, MultiScan

volumenes, alturas dimensionesCámaras 2D/

3D precalibrada

Aplicáciones complejas de visión 2D, Software potente de analisis

OCR/OCV, Código de barras código 2D

Grupos de equipos de visión principales que se están aplicando en la industria


: Visión Artificial 2D- Óptica

- Luz, iluminación

- Cámara

- Aplicaciones


Campo de Visión

: El campo de visión es el área completa que puede ver la cámara

: El área que se puede visualizar digitalmente según distancia entre objeto y cámara dependiendo de la lente que lleva puesto

: FOV = Field Of View = Campo de Visión = longitud Horizontal x longitud Vertical


Distancia Focal

: La distancia o longitud focal (Focal length) es : la distancia entre el centro de la lente y el punto focal

: Si el punto focal está en el sensor tenemos una imagen nítida

: Una longitud focal larga abarca menos campo de visión -> la resolución aumenta: Una longitud focal más corta abarca más campo de visión ->la resolución baja


Distancia mínima

- Un objeto tiene que estar a una distancia minima para poder focalizarlo- Lentes con una longitud focal elevada requieren

una distancia “objeto-cámara” mínimamayor que lentes con una longitud focal inferior

Es decir más longitud focal requiere mas distancia al objeto

- Si tenemos que aplicar una lente de una longitud focal mayor para centrarnos en un campo de visión reducido y no conseguimos focalizar la imagen porque estamos a una distancia critica (impossible to focus), tenemos que poner un arandela de distancia en la lente.


Profundidad de Campo

El plano focal (focal plane) es la distancia a la que conseguimosla mayor nitidez posible.

Todo lo que se puede considerar todavía como suficientemente nítido a una distancia un poco menor y a una distancia un poco superior está dentro la profundidad de campo (Depth of field)


Profundidad de Campo con Anillos de distancia

La profundidad de campo(Depth of field) disminuye si montamos anillos de distancia o si trabajamos con una apertura de la lente elevada

Anillo de distancia


La óptica

Elección de la lente: El ángulo de la lente determina cuanto ve la cámara (Campo de

visión) - Un Ángulo amplio (distancia focal corta) captura un campo más

grande que el ángulo Normal

- Un ángulo pequeño, o tele ( longitud focal larga ), captura menos campo

Angulo

Amplio Normal Tele

: Longitudes focales comunes son 8, 12, 16, 25, y 35 mm- Lo que es ”normal” depende del tamaño del sensor


La óptica

: Lentes tele céntricas para aplicaciones de alta precisión- Rayos paralelos en vez de un - Distorsión es minimizada- Sensibilidad a la posición del objeto dentro del campo de visión es

reducido- El diámetro de la lente tiene que tener como mínimo las mismas

dimensiones como el objeto

Objeto Lente normal

Lente tele céntrica


Resolución en 2D

: Resolución de la imagen- Resolución de la imagen = resol. del sensor

- Altura del Sensor (y) y anchura (x) en pixeles

- Recuerda la dirección del sistema de coordenadas

: Dimensiones Campo de Visión- Altura (y) anchura (x) de la imagen en mm

: Ejemplo- Campo de visión = 50 mm de ancho

- Resolución del sensor = 640 x 480 pixels

- Resolucion para el objeto = 50/640

- = 0.08 mm/pixel en anchura

FOV

y

x


Las incertidumbres de la mediciLas incertidumbres de la medicióón 2Dn 2D

: La resolución:: Se puede calcular vía #pixeles / área de visión: Fácil de determinar

: La repetibilidad :: Se obtiene mediante tests: Valor permite cualificar el resultado de la medición

: La « precisión » :: Difícil de pre-determinar.: Variable más importante es la repetibilidad


La importancia de la luz

: Igual como el ojo, la visión artificial depende de la iluminación y la óptica para poder trabajar

: Métodos diferentes de iluminación pueden tener efectos visuales muy diferentes

Moneda danesa expuesta a diferentes tipos de iluminación


: La iluminación tiene la misma importancia que el sensor para una solución robusta y fiable

Ejemplos de iluminación - Contraluz

- Iluminación de anillo

- Iluminación Coaxial

- Iluminación Domo

- Iluminación Spot

- Líneas Láser

Elementos de un sistema de visiElementos de un sistema de visióón 2D n 2D

Qué es Visión artrificial?


La imagen 2D

: La imagen se obtiene con un solo clic sin movimiento

: La imagen consiste en pixeles = picture elements

Pixel


: En la visión artificial se reduce todo al impacto de luz sobre un sensor

: Para poder hacer un análisis sobre una imagen necesitamos contraste entre las partes a inspeccionar y/o el fondo.

:

Qué es Visión Artificial?

Gama de tonos de grises de un sensor monocromático

Contraste destacado por ejemplo entre dos pixeles

Señal digital


Iluminación Campo Oscuro

Ejemplos: Campo Oscuro (Darkfield)

Una iluminación con leds montados en bajo ángulo

(VLR-66RA1211) Genera una iluminación tipo

campo oscuro

Luz ambiental

: El principio del campo oscuro- Iluminación en Angulo bajo

- Resalta esquinas y bordes para el reconocimiento de patrones y la detección de rayas

- Apropiado para la inspección de bordes y características 3D en superficies planas


Ejemplo: Iluminación Coaxial

: El principio co-axial- La luz es paralela al eje óptico, gracias a un espejo

semitransparente- Resalta contrastes entre áreas planas y

características/áreas elevadas- Apropiado para la inspección de objetos huecos y para

pequeñas características 3D

Luz ambiental Iluminación coaxial

Iluminación Coaxial (VLR-66CA0311)

Produce una silueta


Ejemplo: Iluminación Línea láser – ”Eco 3D”

: El principio línea láser- Se proyecta una línea láser sobre el objeto

- Cualquier variación de altura se notará como un salto en la línea

- Apropiado para mediciones 3D con poca precisión y una velocidad baja (”Eco 3D”)

Luz ambiental Iluminación láserLáser rojo (ILP2-L11111) + filtro rojo (OBF-IVC-660-1)

produce la línea láser


Ejemplo colores

: Utiliza el principio de colores opuestos para resaltar el color que quieres.

: Aparte se puede resaltar aplicando filtros de color

: Ejemplos

- Cámara de color + iluminación blanca

- Cámara monocr. + iluminación blanca

- Iluminación roja resalta rojo y amarillo pero bloquea azul y verde

- Iluminación verde resalta verde y amarillo y azul pero bloquea el rojo

- Azul resalta el azul pero boquea el resto de colores

a

b c

d e


Utiliza el color para resaltar : Ejemplo 2

: Qué color de filtro debería ser aplicado para contrastar el texto rojo en una superficie metálica con otros impresos azules

Iluminación azul + (opcional) Filtro azul para maximizar el contraste


Aplicaciones

: Sensores de Visión

: Detección de presencia de agujeros en

su posición

: Posicionado no es 100% igual

: – fotocélula por ejemplo no funcionaría


Aplicaciones

: Sensores de Visión

: Presencia/integridad de fechas

impresas

: Presencia de un tornillo en 360º


Medición del diámetro de agujeros

Aplicaciones



Medición de agujeros para la implantación del GPS

Distancias más grandes

resoluciones requeridas

más altas

Aplicaciones



Determinación de coordenadas [X,Y,θ]

de piezas que van pasando por una cinta transportadora

Aplicaciones


Filtro de aire - control con 2D y iluminación láseres : Ensamblaje de la esponja

: Contraste muy bajo Un láser da la información sobre la altura

No hay línea-falta de pieza

OK

Aplicaciones


: Visión Artificial 3D- Por qué 3D, cuando aplicar 2D o 3D

- Tecnologías

- Tipos cámaras triangulación

- Aplicaciones


Cuándo aplicar 2D o 3D?

: Dónde aplicar 2D?- Buen contraste

- Ambiente de iluminación estable

- Poca variedad en altura

: Dónde aplicar 3D?- Contraste bajo

- Colores variados

- Varicación en altura

- Variación/influencia del luz ambiental

: Ejemplos- 1. Cúal de los pines está más

bajo?

- 2. Cual de las piezas estáencima de las otras?

- 3. Es la soldadura correcta?

- 4. Cuál de los envueltos es correcto?

2D Image 3D Image

☺

☺

☺

☺

1.

2.

3.

4.

3D images, height data as intensity:

Bright = High Dark = Low


Visión artificial 3D Tecnología Estéreo visión

Como el cerebro humano genera la imagen 3D con dos imágenes

A partir de la diferencia en la posición de un objeto en una y otra imagen, se puede obtener la profundidad


Principio de obtener imágenes Triangulación Láser

: Requiere movimiento del objeto

: La línea láser dibuja un perfil sobre el sensor

: Varios perfiles generan la imagen 3D


IVC-3D 30 (mini) IVC-3D 50 IVC-3D 100 IVC-3D 200 IVC-3D 300 (long)

Field of View recom. 30mm x 60mm 50mm x 150mm 100mm x 190mm 200mm x 600mm 300mm x 1100mm

Tipo IVC-3D31111 IVC-3D21111 IVC-3D51111 IVC-3D11111 IVC-3D41111

Umbral de altura 35 mm 84mm 150 mm 395 mm 1000 mm

Resolución en altura 0,015 mm 0,04 mm 0,05mm 0,2 mm 1,2 mm

Anchura máxima 75 mm 180 mm 270 mm 810 mm 1460 mm

Anchura máxima tope 65 mm 135 mm 180 mm 440 mm 430 mm

max heightrange

max width

max FOV

min stand-off

selectedFOV

top width

IVC-3D

max heightrange

max width

max FOV

min stand-off

selectedFOV

top width

IVC-3D

Anchura tope

Min “stand off”

Umbral de altura

Anchura máxima

Lente

Láser

Modelos compactos IVC-3D y triangulación

Recomendado Field of View


IVC-3D aplicaciones, culata del motor, automoción

Medición de elementos del culata

2D muy poco contraste

Imágenes 3D obtenidas con la IVC3D

Aplicaciones


Aplicación: 3D Control de contorno

Producto: IVC-3D 50

IVC-3D aplicaciones, piezas automoción


Ejemplo neumáticos

: OCV/OCR en neumáticos


Neumáticos producción

: Evitar solapes o separaciones grandes de la goma


Automóvil Medición de cilindros frenos

:Medición de dimensiones con la IVC-3D:Contraste en 2D es muy bajo


Ensamblaje de piezas pequeñas

:IVC-3D 1:Identificación y orientación en la cinta.

:El robot (dos brazos) coge la pieza

:IVC-3D 2:Identificación de x, y, z e inclinación de la otra pieza en el palet

:El segundo robot pasa la segunda pieza al primero

:Se montan las dos piezas y deja el conjunto en otro palet


AlimentaciónDimensiones Hamburguesas

: IVC-3D determina - Volumen, diametros, altura

máxima- Encuentra defectos del borde


Alimentación,Latas

Defecto

: Una fuga puede generar gastos elevados en procesos de manipulación de las latas

: La IVC-3D mide la superficie de cada lata antes de salir de la fábrica


Aplicación IVC-3D

AplicaciónControl de los productos respecto a altura/tamaño y contornoGalletas que no cumplen los requisitos sobre todo en altura por ser amontonados pueden generar atascos en el horno e incluso encenderse.

Solución Las herramientas permiten inspecciones en altura y en 2D para verificar la forma de cada producto

ProductoIVC 3D

Control de galletas en tamaño y contorno

50: SICK : Confidential Date 50

Control posición correcta, tapa de garrafa

AplicaciónDetección de un mal posicionamiento o falta de apriete, velocidad 30 garrafas/minuto

SoluciónIVC-3D 50 detecta la altura relativa entre la garrafa y la tapa tanto como una posible inclinación de la tapa

Se ha repuesto un sistema 2D que no daba ningún resultado satisfactorio por tener que verificar min. 2 lados, sin contraste estable, dependencia de la luz ambiental Otro ejemplo

51: SICK : Confidential Date 51

Optimizar el corte de Queso

AplicaciónProducción de queso en dimensiones grandes tiene que ser cortada en trozos para supermercados. Las lonchas se venden por peso

Antes cortaron cada ca. 30mm después se pesaron las lonchas pequeñas y se rechazaron si no llegaron al peso mínimo

La irregularidad de la superficie del trozo grande, como bordes curvados conllevaba que las lonchas a veces no llegaron al pesomínimo y se rechazó bastante queso

Solución4 cámaras 3D escanean los lados ( asumiendo que la parte frontal y trasera son regulares) Se evalúan los datos para calcular el volumen y se optimizan el corte enviando la posición exacta a la cortadora automática

El material rechazado se reducido de forma importante


Alimentación , Galletas

: Medición con IVC-3D altura y diametro

: Galletas muy grandes se rechazan tanto como galletas defectuosas

Defect


Contacto pins Piezas ensamblaje

: Medición de la altura de los pines en relación a la altura de la superficie de la placa

: FOV , campo de visión 50 mm, z-resolución 0.04 mm, tiempo de ciclo 100 ms


SICK Core TechnologyCOLOR RANGER

: SICK IVP-designed CMOS sensor

: Tecnología única, patentada- Procesar directamente en el chip

- 3D profile datos del perfil se calculan en el chip

- Adquisición de imágenes 3D más rápida del mercado

- Opción Multiscan

: Sensor - 1536 x 512 pixeles (9.5 µm)

- 1536 A/D conversores

- 1536 procesadores en paralelo

- Hi-Res linea de escala de grises: 3072 pixeles (C/E 55)

- Hi Res Hi-Res linea de escala de R, G y B: 3072 pixeles (C/E 55)

Imagen Sensor

A/D Conversores

RISC Procesores

Sensor

Hi-Res Lines


MultiScan

: Tecnológica única

: Escan de diferentes características al simultáneamente

: 3D, 2D, HiRes 2D, gloss, scatter, RGB COLOR

: Diferentes áreas del sensor se aplican para diferentes tipos de imagen

3D

2D

Scatter


ColorRanger E

Máxima cantidad de datos para un análisis completo


Aplicaciones de Visión en Alimentación

Producto más innovador en la Feria de VisionNoviembre 2010, Stuttgart/Alemania


Neumáticos

: Hasta dos Ranger aplicadas para la inspección de neumáticos- Clasificación del tipo

- Medición de profundidad


Palletizing en Packaging

: Paletizar sin necesidad de contrastes

: Localizar piezas en el conveyer para posicionarlas en los palets

Ranger

Láser


Aplicaciones en Madera

: Medición en 360°

: Clasificar la tabla (nudos)

: Optimizar el corte

: Medición de la corteza

3D

MultiScan


RULER AplicaciRULER Aplicacióónn

Medición de troncos de árboles a 360 Grados para optimizar el corte


Inspección de panes

: Ranger MultiScan o IVC-3D +IVC-2D- 2D para determinar grado de horneado

- 3D para volumen y superficie


Volumens en cintas de producción

: Ruler or IVC-3D para escanaear alimentos

: 3D control del volumen total

: Clasificación por tamaños- Scatter (Ruler) para detectar piedras


Alimentaciónfrutas

: Clasificación por tamaño IVC-3D o Ruler

: Defectos de colores con Multiscan Ranger


Dispersión de cola/ pegamento

: Monitorizar el volumen

: Feedback al sistema de control


Contacto para aplicaciones en España

SICK EspañaBarcelona

Responsable Visión ArtificalUlrich Druzella

Tel. 0034 93 480 22 84

Mail to [email protected]

www.sick.es

: Gracias por su atención

Vision Artificial _UNI TERRASSA 2010

Documents

Transcript of Vision Artificial _UNI TERRASSA 2010